▲ 13일 KT가 6천만 개 이상의 서비스 접점을 AI로 연결하고 국산 AI 모델·인프라를 결집한 ‘토큰팩토리’를 기반으로 대국민 개방형 AI 생태계 구축에 나선다고 밝혔다. <KT>
13일 KT는 과학기술정보통신부가 추진하는 '모두의 AI' 사업을 위해 다양한 서비스를 하나의 AI 경험으로 연결하는 대국민 AI 서비스 전략을 추진한다고 밝혔다.
KT 컨소시엄에는 업스테이지와 솔트룩스, 다음, 무신사, 직방, EBS, 매스프레소, BC카드 등이 참여한다.
KT는 현재 글로벌 AI 서비스들이 일반적 정보를 제공하는 능력은 뛰어나지만 한국의 생활정보를 정확하게 검색해 추천·비교하고 실제 행동까지 이어주는 데는 부족한 부분이 있다고 판단해 국민 생활에 필요한 영역에 AI를 빠르게 접목하는 것을 모두의 AI의 핵심 방향으로 잡았다.
KT 컨소시엄은 '이음 인사이드'를 중심으로 참여 기업의 서비스를 범용 AI 에이전트와 연결하는 개방형 생태계를 구축한다.
이음 인사이드는 모두의 AI와 개별 서비스가 양방향으로 연결되는 것이 특징이다. 이용자는 모두의 AI에서 제휴 서비스를 이용하거나 다음, 무신사, 직방 등 기존 서비스 안에서 이음 인사이드를 호출해 같은 AI 기능을 이용할 수 있다.
KT는 '모두의 AI' 앱을 대국민 AI 활용 플랫폼으로 구축하고 종합 검색 포털 다음과 컨소시엄 참여 기업 서비스, KT 지니TV 등에도 관련 기능을 적용한다. 컨소시엄 참여 기업이 보유한 서비스 이용자 접점은 합산 6천만 개 이상이다.
이를 통해 별도 AI 앱의 이용자를 확보하는 동시에 기존 서비스 이용자도 별도 이동 없이 AI 기능을 이용할 수 있도록 한다는 전략이다. 앱과 웹, IPTV 등 접속 채널과 관계없이 유사한 AI 경험을 제공한다.
KT는 컨소시엄에 속하지 않은 기업에도 이음인사이드 연동 체계를 개방한다. 외부 기업이 참여를 신청하면 서비스 특성에 맞는 연동 수단을 제공해 생태계를 지속적으로 확대한다는 방침이다.
범용 서비스에서는 검색을 통한 최신 정보 탐색 기능에 여러 국산 AI 모델을 결합한다. 이용자의 기존 검색과 문의 내용을 기억하는 메모리 기반 개인화 기능도 제공한다.
KT는 이용자가 직접 복잡한 설정을 하지 않아도 대화와 서비스 이용 과정에서 관심 정보를 축적하는 '메모리맵'도 활용할 계획을 세웠다. 이용자는 필요하면 자신의 관심사를 직접 수정할 수 있다.
공공 분야에서는 단순 질의응답을 넘어 이용자 상황에 맞춘 알림과 공공혜택 추천, 행정절차 안내, 발급·신청 지원 등을 제공하는 AI 에이전트를 구현한다.
생애주기와 개인 상황을 바탕으로 필요한 공공서비스를 먼저 알려주는 방식도 추진한다. 다만 실제 신청까지 AI가 수행하려면 정부가 제공하는 응용프로그램인터페이스(API) 개방 범위가 확대돼야 하는 만큼 KT는 정부와 관련 협의를 진행하고 있다.
KT는 향후 영농과 창업 등으로 적용 영역을 확대하고 새로운 기업의 참여도 유도하기로 했다.
서비스 운영에는 KT의 AI 운영 플랫폼 '토큰팩토리'가 활용된다. 토큰팩토리에는 업스테이지의 '솔라', 모티프테크놀로지스의 '모티프', 솔트룩스의 '룩시아', NC AI의 '바르코', KT의 '믿음' 등 국산 AI 모델이 연동된다.
KT는 하나의 AI 모델에 모든 작업을 맡기는 대신 질문과 서비스 특성에 따라 가장 적합한 모델을 골라주는 '모델 라우팅' 방식을 적용한다. 각 국산 모델을 모두의 AI 서비스에 맞게 추가 강화학습과 파인튜닝, 경량화하는 작업도 진행한다.
리벨리온의 신경망처리장치(NPU)와 래블업·베슬AI의 AI 인프라 운영 최적화 기술도 통합해 서비스 특성에 맞는 AI 모델과 인프라를 자동으로 연결한다.
KT에 따르면 토큰팩토리는 사용자가 입력한 프롬프트를 처리하는 '프리필(Prefill)' 단계와 응답을 생성하는 '디코드(Decode)' 단계를 분리해 각각 최적화된 자원을 할당한다.
연산량이 많은 작업에는 그래픽처리장치(GPU)를 활용하고 메모리 대역폭 활용도가 높은 디코드 과정에는 국산 NPU를 적용하는 방식으로 인프라 효율성을 끌어올린다.
이를 통해 분당 토큰 처리량(TPM)을 약 31% 높일 수 있으며 프롬프트 압축 기술을 활용하면 입력 토큰도 최대 80% 줄일 수 있다고 KT는 설명했다.
사용량이 급증하면 KT가 보유한 GPU 클러스터 등으로 처리 자원을 전환하는 기능도 적용한다. 서비스 수요가 적은 시간대에는 정부 지원 GPU를 국산 AI 모델의 추가 학습에 활용해 모델 성능을 지속적으로 개선한다.
KT는 이를 통해 여러 국산 AI 모델과 국내 AI 반도체·인프라 기술을 하나의 플랫폼에서 결합하고, 특정 모델이나 사업자에 종속되지 않는 AI 서비스 환경을 구축할 예정이다.
이진형 KT AX사업본부장 상무는 "이음인사이드를 통한 개방형 AI 생태계 조성으로 국민의 일상과 함께하고 다양한 서비스 접점을 통해 디지털 소외계층까지 포용하는 대국민 AI 서비스를 선보이겠다"며 "국내 최고 수준의 멀티모델과 KT 역량이 응축된 토큰팩토리를 바탕으로 빠르고 정확하며 안정적 AI 서비스를 제공할 것"이라고 말했다. 조승리 기자
