[비즈니스포스트] BC카드가 저가 장비에서도 구동이 가능한 초거대언어모델(LLM)을 공개해 중소기업과 소상공인 등에 대한 인공지능(AI) 서비스 접근성을 높인다. 

BC카드는 국내 금융사 최초로 양자화된 초거대언어모델(LLM) 18종을 글로벌 AI 플랫폼 ‘허깅페이스’에 공개했다고 9일 밝혔다.
 

BC카드가 공개한 LLM 18종은 고가의 그래픽처리장치(GPU) 장비가 없어도 누구나 초거대 AI를 활용할 수 있도록 동적 양자화 기술이 적용됐다.

동적 양자화란 AI 모델이 사용하는 수치를 압축해 배포한 뒤 실제 활용 시점에 이를 복원해 연산 성능과 효율성을 동시에 높이는 기술이다. 

BC카드는 자체 기술을 적용해 수치 손실 없이 기존 정확도를 유지하는 ‘손실률 0%’ 양자화를 구현했다고 설명했다. 기존의 양자화 기술은 모델 내부의 수치를 일부만 보존해 정확도 저하 가능성이 있었다고 알려졌다.
 
또한 GPU 사용량 감소에 따른 처리 속도 향상, 산출 결과물의 품질 저하 없이 안정적 AI 모델 구동이 가능한 점도 장점으로 꼽혔다.

글로벌 기업의 최신형 GPU에서 BC카드의 양자화 LLM을 실행하면 AI 연산 속도가 최대 3.5배 빠른 것으로 나타났다.

BC카드는 이 기술이 고가 장비 도입이 부담되는 중소기업, 스타트업, 소상공인들에게 AI 서비스 진입 장벽을 낮춰줄 것으로 기대하고 있다.

이 기술을 적용해 소상공인 가맹점주를 위한 AI 기반 가맹점 추천 및 마케팅 캠페인 기획 등 가맹점 지원 서비스도 연내 출시를 계획하고 있다. AI에 익숙하지 않은 사용자도 손쉽게 활용할 수 있도록 간편한 인터페이스를 제공하는 통합 솔루션도 함께 선보인다.

조명식 BC카드 상무는 “이번 LLM 모델 공개는 고가 장비 없이도 다양한 산업현장과 금융 업무에서 AI를 효율적으로 적용할 수 있는 기반을 마련한 것”이라며 “앞으로도 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다”고 말했다. 조혜경 기자