[비즈니스포스트] 한글과컴퓨터는 AI 학습과 활용 과정에서 난제로 지적돼 온 PDF 문서 데이터 처리 병목 현상을 해소할 핵심 기술을 글로벌 오픈소스로 공개했다고 17일 밝혔다. 

이번에 공개된 ‘오픈데이터로더 PDF’는 한컴이 축적한 문서 처리 기술력을 바탕으로 개발한 PDF 데이터 추출 엔진이다.
 
PDF는 세계적으로 AI 학습에 가장 널리 사용되는 문서 포맷이지만, 복잡한 내부 구조 때문에 학습용 데이터 추출이 쉽지 않아 AI 개발 과정에서 큰 제약이 따랐다.

이번 프로젝트는 이러한 문제를 해결하기 위해 한컴이 PDF 기술 전문회사 듀얼랩과 오픈소스 기반 PDF 데이터로더를 공동 개발했다.

공동 개발한 오픈데이터로더 PDF는 PDF 문서 내 텍스트, 표, 이미지, 레이아웃 정보를 높은 정확도와 빠른 성능으로 추출해, AI 학습에 즉시 활용할 수 있는 정형화된 데이터로 변환한다.

벤치마크 테스트 결과, 사람의 읽기 순서를 측정하는 지표인 NID에서 다른 기술 대비 85%라는 높은 수치를 기록했다고 회사 측은 설명했다.

금융·공공기관 등 민감한 데이터를 다루는 환경에서도 네트워크 연결 없이 완전 오프라인으로 작동해, 데이터 유출과 외부 업로드로 인한 정보 노출 위험을 원천 차단한다.

한컴은 오픈데이터로더 PDF에 악의적 콘텐츠 삽입을 통한 프롬프트 인젝션 등 보안 위협을 자동 감지·차단하는 기능을 추가로 제공한다.

한컴은 AI 생태계 전반의 오픈소스 확산과 기술 고도화를 추진하기 위해 챗GPT, 제미나이, 랭체인 등 주요 AI 프레임워크와의 연동·호환성을 강화하고, 깃허브를 통한 글로벌 개발자 커뮤니티와의 협력을 이어간다. 조승리 기자