한국에 특화한 정보를 다루는 데 네이버의거대언어모델(LLM)이 '챗GPT' 등 글로벌 빅테크의 LLM보다 나을 수 있다는 평가 결과가 나왔다.

네이버클라우드는 하이퍼클로바X가 인공지능(AI) 성능 평가 지표인 '한국다중작업언어이해(KMMLU)'평가 에서 오픈AI나 구글의 AI보다 높은 점수를 기록했다고 27일 밝혔다.
 

KMMLU는 오픈소스 언어모델 연구팀인 '해례'가 이끄는 한국형 인공지능 평가 지표다. 해례는 기존 다중작업언어이해(MMLU) 평가 지표들이 영어와 글로벌 이용자 경험을 기반으로 만들어져 한국 이용자의 경험과는 괴리된 문제를 해결하기 위해 이 평가 프로그램을 만들었다. 

평가는 인문학, 사회학, 과학, 기술 등 45개 분야 전문가 수준의 지식을 묻는 3만5천여 개 문항으로 구성됐다. 이 가운데 20%는 한국의 지리와 법률 등 한국 특화 문항으로 구성됐다.

이 평가에서 하이퍼클로바X는 오픈AI의 'GPT 3.5 터보'나 '구글 제미니 프로'보다 높은 점수를 기록했다. 한국 특화 지식만 놓고 보면 오픈AI의 'GPT4'보다도 높은 점수를 기록했다.

이를 통해 교육, 법률 등 지역에 특화된 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 유용할 수 있음을 보였다.

네이버클라우드는 이 조사 결과가 '소버린 AI(주권 인공지능)' 모델의 유효성을 뒷받침하는 것이라고 주장했다.

최근 한국과 유럽, 중동에서는 미국의 빅테크기업에 종속되지 않고 국가별로 자체 LLM을 구축해 데이터 주권을 지키려는 소버린 AI 개발 움직임이 활발해지고 있다.

성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI"라며 "자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것"이라고 말했다. 조충희 기자