▲ 일론 머스크 테슬라 CEO가 선보인 인공지능 챗봇 '그록'이 수학 연산 부문에서 기존의 모델들을 뛰어넘는 성능을 보인다는 연구 결과가 나왔다. 사진은 1일 영국 블레츨리 파크에서 열린 인공지능 안전 회의에 참석한 일론 머스크(맨 왼쪽). <연합뉴스>
16일(현지시각) IT전문지 WCCF테크는 캐나다 토론토대학의 연구원 키어런 패스터가 실행한 연구 결과를 인용해 “그록은 홀드아웃 검증 방식으로 수학 문제를 풀었을 때 59%의 정답률을 보였다”고 보도했다.
홀드아웃 방식은 인공지능 챗봇의 성능을 추정하는 방법 가운데 하나다. 인공지능 챗봇이 기계학습(머신러닝) 때 사용하지 않았던 데이터를 중심으로 문제 풀이를 시키는 방식이다.
앤트로픽과 메타 등 그록보다 인공지능 챗봇을 앞서 발표한 기업들의 제품은 그록보다 낮은 정답률을 보인 것으로 나타났다. 2022년 11월 출시돼서 인공지능 열풍을 이끌었던 챗GPT-3.5 버전의 정답률도 그록에 미치지 못했다.
다만 그록은 챗GPT의 최신 버전인 GPT-4보다는 낮은 점수를 기록했다.
WCCF테크는 “머스크 CEO는 2023년 11월4일 그록을 출시하면서 성능을 자신했는데 이를 증명할 데이터가 확보된 셈”이라고 분석했다.
그록은 머스크 CEO가 세운 인공지능 스타트업 xAI에서 출시됐다. xAI는 현재 일부 사용자를 대상으로 그록의 비공개 성능 검증을 진행하고 있다.
향후 상용화에 성공하면 테슬라 차량에 도입돼 차량 조작 및 운행 등에 활용될 전망이다. 이근호 기자
