[비즈니스포스트] 한국과학기술원(KAIST)은 노용만 KAIST 교수 연구팀이 오픈AI의 GPT-4V 등 상업용 거대언어모델(LLM)의 이미지 분석 성능을 뛰어넘는 '콜라보'와 '모아이' 2개 LLM을 개발했다고 20일 밝혔다.

콜라보는 이미지 안에서 배경과 물체를 구분하는 능력이 향상된 LLM이다.
 

연구팀은 현존하는 기존 공개형 LLM의 이미지 이해 능력이 현저하게 떨어진다는 것을 포착, 이미지 내 정보를 배경과 물체 단위로 분할하고, 각 정보를 LLM에 입력하는 식으로 구분능력을 향상시켰다고 설명했다.

모아이는 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 기능을 강화한 LLM이다.

연구팀은 기존 공개형 LLM이 상세하고 종합적으로 장면을 이해하는 능력이 부족하다고 보고, 이미지의 모든 요소를 인간이 이해할 수 있는 언어로 변환한 뒤 LLM에 입력하는 식으로 상황 판단 성능을 끌어올렸다고 설명했다.

이번 개발 성과는 단순히 모델의 크기를 키우거나 고품질 데이터 세트를 만들지 않고도 LLM의 시각 성능을 획기적으로 높인 것에 의미가 있다고 연구팀은 설명했다.

노용만 교수는 "모든 모델을 공개형 LLM으로 출시했다"며 "이 연구 모델이 멀티모달 LLM 기술 발전에 기여할 것"이라고 말했다. 조충희 기자