[비즈니스포스트] 네이버의 클로바X와 구글의 바드, 오픈AI의 챗GPT 가운데 질문에 가장 적절한 대답을 해 주는 인공지능은 무엇일까?

네이버가 자체 개발한 생성형 인공지능(AI) 하이퍼클로바X를 공개한 뒤 하이퍼클로바X를 활용한 인공지능 챗봇 클로바X를 향한 관심도 높아지고 있다.
  
실제로 네이버 주가는 네이버가 하이퍼클로바X를 공개한 24일 6.26% 급등했지만 바로 다음날인 25일에는 오히려 7.86% 급락했다. 

시장에서는 네이버 주가 급락의 원인을 두고 네이버의 클로바X를 사용해 본 이용자들이 기존의 생성형 인공지능 챗봇인 바드, 챗GPT보다 성능이 떨어졌다고 판단했기 때문이라는 분석도 나온다.

클로바X의 성능은 바드, 챗GPT와 비교해 정말로 떨어지는 것일까?

바드, 챗GPT와 비교해 클로바X의 강점은 무엇이 있을까?

이 질문에 대한 답을 찾기 위해 클로바X와 바드, 챗GPT에 같은 질문을 던졌을 때 나오는 대답을 비교해봤다.

단, 챗GPT는 보유한 데이터가 2021년까지밖에 없다는 것을 감안해 최근 데이터가 필요한 질문은 하지 않았다.

네이버는 하이퍼클로바X를 내놓으면서 한국에 대한 정보는 세상의 그 어떤 인공지능보다 많이 학습했다는 점을 강조했다.

◆ ‘한국’에 대한 정보는 네이버 클로바X의 압승, 바드는 “구로역에서 KTX에 탑승해라”

이 말이 진짜인지 알아보기 위해 한국의 교통, 그리고 맛집 증과 관련된 질문을 던져봤다.

먼저 서울시 금천구에 위치한 기자의 집에서 광주광역시에 위치한 호텔까지 대중교통을 이용해 가는 방법을 클로바X와 바드에게 각각 질문했다.

결과는 네이버의 압승이었다. 바드는 한국의 교통상황을 제대로 파악하지 못하고 있는 듯 지하철역인 금천구청역에서 KTX에 탑승하라는 황당한 답변을 내놨다.

금천구청역에서는 KTX에 탑승할 수 없다는 점을 지적한 뒤에도 지하철역인 구로역, 그리고 호남선 열차가 정차하지 않는 영등포역에서 KTX를 타면 된다는 답변이 돌아왔다.  하지만 클로바X는 달랐다. 기자는 용산역에서 KTX를 타고 광주송정역으로 가는 방법을 생각하고 있었지만, 클로바X는 기자의 집에서 용산역보다 광명역이 더 가깝다는 것을 짚어내며 광명역에서 KTX를 타라고 안내했다. 

맛집 질문도 마찬가지였다. 합정에서 갈 수 있는 초밥 오마카세집을 추천해달라는 질문에 클로바X와 바드는 모두 비슷한 음식점들을 추천해줬지만, 바드가 추천해준 음식점 가운데는 2021년에 이미 영업을 종료한 업장이 포함돼 있었다.

삼행시 등 한국 고유의 문화 역시 클로바X가 훨씬 더 잘 이해하고 있는 모습을 보여줬다. 

'사랑해'로 삼행시를 지어달라는 질문에 클로바X는 당장 멋들어진 삼행시를 내놓았지만 바드는 '랑대하고 싶은 마음' 등의 알 수 없는 용어를 활용한 삼행시를 지어줬다. 챗GPT는 삼행시가 무엇인지조차 이해하지 못하는 모습을 보였다.  ◆ 생성형 인공지능의 최대 단점 ‘환각 현상’, 클로바X에서는 찾아보기 어려워

생성형 인공지능의 ‘환각 현상(할루시네이션)’을 회피하는 성능 역시 바드, 챗GPT보다 네이버의 클로바X가 뛰어난 것으로 보인다.

기자는 환각 현상에 대한 실험을 위해 챗GPT와 바드, 클로바X에 각각 ‘조선시대에 발생한 연금술사들의 반란에 대해 설명해 줘’라는 황당무계한 질문을 던졌다. 이 질문은 챗GPT의 환각 현상을 보여주는 가장 유명한 질문으로 한 때 인터넷 커뮤니티들을 뜨겁게 달궜던 질문이기도 하다.

챗GPT는 환각 현상의 원조답게 여전히 그럴듯한 거짓말을 지어내는 모습을 보였다. 챗GPT는 조선 연금술사의 난이 16세기 중반에서 17세기 초반에 발생했다고 설명하며 조선시대의 정치, 사회, 경제적 변화와 관련이 깊다는 그럴듯한 설명까지 덧붙였다.

바드는 ‘조선시대에 연금술사의 난이 발생했다는 것은 역사적 사실이 아닙니다’며 순조롭게 환각 현상을 피해가는 듯 했지만, 곧이어 조선의 대표적 연금술사로 이순지, 정인지, 유자광, 이황 등이 있고 이들은 불로장생의 약을 만드는 방법을 연구했다는 기상천외한 답변을 내놓았다.
  반면 클로바X는 “조선시대에 연금술사들의 난이 일어났다는 역사적 기록은 존재하지 않는다”며 “연금술은 중세 유럽에서 유행했던 기술이고, 조선에서는 연금술보다 금속가공술, 화학 등이 더욱 발달했다”는 지식까지 제공해줬다.

황당무계한 질문이 아닌 정상적 질문에서도 클로바X는 바드와 달리 환각 현상을 피해갔다. 

대한민국의 제 1야당 당대표에 대해 설명해달라는 질문에 클로바X는 정확하게 이재명 대표에 대해 설명했지만, 바드는 현재 경기도 도지사인 김동연 지사가 2023년 8월24일 더불어민주당 당대표에 선출됐다며 잘못된 정보를 사실인 것처럼 안내했다.

◆ 정보의 자세함이나 답변 속도에서는 바드의 승리

이처럼 바드, 챗GPT와 비교해 여러 장점을 보여준 클로바X였지만 정보의 자세함이나 답변 속도에서는 ‘선배’들에게 미치지 못하는 모습을 보여줬다.

현재 대한민국 대통령에 대해 설명해달라는 질문에 클로바X는 윤석열 대통령의 경력, 임기와 관련된 정보만을 제공했지만 바드는 윤 대통령의 대선 득표율, 주요 공약, 정책적 행보까지 자세하게 설명했다.

여행 일정을 짜달라는 질문에도 클로바X의 답변은 바드와 비교해 매우 간략하게 제공됐다. 

일본 후쿠오카를 3박4일 동안 여행하는 일정을 짜달라는 질문에 클로바X는 후쿠오카에서 갈 수 있는 관광지, 맛집 정도를 3박4일 동안 펼쳐주는 것에서 그쳤지만 바드는 시간 단위로 동선을 구상해주는 한편 교통편까지도 추천해주는 치밀함을 보였다. 

답변 속도 역시 바드의 승리였다. 

세 서비스 모두 비교적 답변 속도는 빨랐지만, 챗GPT는 한국어로 된 질문에는 확연히 답변 속도가 느려지는 모습을 보였으며 클로바X 역시 가끔 답변이 수 초 가량 지연되는 모습을 보였다. 하지만 바드는 기자가 여러 가지 질문을 던지는 동안 한 차례도 답변이 지연되지 않고 질문을 입력하자마자 답변을 제공받을 수 있었다. 윤휘종 기자