[비즈니스포스트] 크래프톤은 대규모 언어 모델(LLM)을 기반으로 한 인공지능(AI) 에이전트의 게임 수행 능력을 평가할 수 있는 벤치마크 ‘오락(Orak)’을 16일 공개했다.

이는 ‘오락’에서 착안한 이름으로 게임 환경에서 AI의 상황 인식과 판단, 행동 결정 과정을 정량적으로 분석할 수 있는 평가 체계다. 

액션, 어드벤처, 역할수행게임(RPG), 시뮬레이션, 전략, 퍼즐 등 총 6개 장르의 대중적인 게임을 기반으로 설계됐다.

구체적으로 오락은 LLM 기반 AI 에이전트가 복잡한 게임 맥락 속에서 상황을 해석하고 결정하는 능력을 평가한다. 
 
핵심 기술로는 모델 컨텍스트 프로토콜(MCP)이 있다. 게임 정보를 언어 모델이 이해할 수 있는 텍스트 기반의 정보로 전달하고, 모델의 응답을 게임에 적용 가능한 행동으로 변환하는 역할을 한다. 

이를 통해 LLM은 게임 플레이어처럼 작동해 게임의 상태를 텍스트나 이미지로 받아들여 최적의 행동을 선택할 수 있다. 액션 게임에서는 장애물의 위치를 인식한 뒤 이동이나 점프와 같은 판단을 수행한다.

오락에는 크래프톤과 엔비디아가 공동 개발한 함께 플레이 가능한 캐릭터(CPC)를 통해 축적한 AI 설계 경험이 반영됐다고 회사는 설명했다. 

크래프톤은 오락과 더불어 LLM 파인튜닝용 데이터셋도 함께 제공한다.

이강욱 크래프톤 딥러닝 본부장은 “오락은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크”라며 “앞으로도 LLM 기술을 지속적으로 고도화해 AI를 통한 혁신을 주도해 나가겠다”고 말했다. 정희경 기자