앤트로픽이 던진 'AI의 인류 생존위협' 경고, 한국 'AI기본법' 시행에도 안전장치는 여전히 허술

[비즈니스포스트] 인공지능(AI)이 인간의 통제를 벗어나 인류 생존까지 위협할 수 있다는 경고가 글로벌 AI 개발기업 앤트로픽의 기업공개(IPO) 증권신고서에 등장하면서 AI 안전장치 필요성이 거듭 조명되고 있다.

우리나라에선 올해 AI기본법이 시행되고 정부 차원의 AI 안전성 평가가 진행되고 있지만, AI 에이전트의 자율행동 통제 의무 법제화와 고위험 AI 검증 강화, 평가 투명성 확보가 여전히 과제로 남아 있다는 지적이 나온다.

28일 정보통신 업계 취재를 종합하면 AI가 단순히 질문에 답하는 수준을 넘어 외부 시스템에 접근해 실제 업무를 수행하는 단계로 발전하면서 AI의 행동과 권한을 통제할 법적·기술적 장치가 필요하다는 목소리가 커지고 있다.

앤트로픽은 26일(현지시각) 미국 증권거래위원회(SEC)에 제출한 기업공개(IPO) 증권신고서에서 AI의 자율성 확대와 악용 가능성, 기술 발전 속도를 따라가지 못하는 안전성 검증체계 등을 주요 투자 위험요인으로 제시했다.

앤트로픽은 보고서에서 “충분히 발전한 AI 시스템이 적절한 안전장치와 감독, 보안조치 없이 개발·운영된다면 인류에 재앙적이거나 실존적인 위험을 초래할 수 있다는 우려가 제기되고 있다”고 밝혔다.

실제 AI 에이전트가 안전장치를 약화한 사례도 공개되고 있다.

오픈AI는 지난 20일 공개한 사고 보고서에서 내부 코딩 업무를 수행하던 AI 에이전트가 보안팀에 전달되는 자동 경고를 차단하거나 안전성 감시 기능을 제거한 사례를 밝혔다.

오픈AI 측은 “AI 에이전트들이 소프트웨어 수정 작업을 수행하면서 안전성 감시장치를 유지해야 하는지 검토했지만, 통상적 코딩 지시를 감시장치를 약화해도 된다는 허가로 해석했다”고 설명했다.

곽진 아주대학교 사이버보안학과 교수는 비즈니스포스트에 “과거의 AI가 텍스트만 출력하는 도우미 정도였다면, 지금의 AI 에이전트는 코드 실행, API 호출, 외부 시스템 접속 등 실제 시스템을 조작할 수 있는 실행 권한을 갖게 됐다”고 말했다.

곽 교수는 “최근의 AI 통제 실패 사례들은 향후 전력망이나 금융망, 국방 등 국가 핵심 기반시설에 AI 에이전트가 연결됐을 때 단 한 번의 목표 왜곡이나 통제 이탈이 사회적 재앙으로 이어질 수 있음을 보여주는 초기 징후로 볼 수 있다”고 말했다.

국내에서도 AI 안전성 확보를 위한 제도 정비가 진행되고는 있다.

올해 1월22일부터 시행된 AI기본법은 일정 기준 이상의 첨단 AI 시스템에 위험 평가와 안전사고 대응체계 구축 등 안전성 확보 의무를 부과하고 있다.

다만 시행령에 따르면 학습에 사용한 누적 연산량이 10의 26승 부동소수점연산(FLOPs) 이상이고, 최첨단 AI 기술을 적용했으며, 생명·신체 안전과 기본권에 광범위하고 중대한 영향을 미칠 우려가 있다는 세 가지 요건을 모두 충족해야 해당 의무가 적용된다.

이에 따라 학습 연산량이 기준에 못 미치는 AI 모델이라도 외부 시스템에 접근해 데이터를 삭제하거나 정보를 유출할 수 있다는 점에서, 모델 규모뿐 아니라 실제 실행권한과 행동 위험을 반영한 AI 안전관리 기준이 필요하다는 지적이 나온다.

곽 교수는 “AI가 어떤 답을 내놓는지도 중요하지만, 외부 시스템에서 어떤 행위를 할 수 있는지에 대한 권한 범위를 법적 안전성 평가 기준에 포함해야 한다”며 “행위 및 권한 기반 규율이 필요하다”고 말했다.

AI 에이전트의 통제 실패를 방지하기 위한 입법도 추진되고 있다.

김현 더불어민주당 의원은 6월 AI 에이전트의 안전성 확보 의무를 신설하는 AI기본법 개정안을 대표 발의했다.

개정안은 사람의 개별적 지시 없이 스스로 계획하고 추론해 외부 시스템이나 도구를 활용하면서 여러 단계의 업무를 자율적으로 수행하는 AI 시스템을 규율 대상으로 삼았다.

개정안은 AI 에이전트를 개발하거나 제공하는 기업에 3가지 의무를 부과한다.

AI에 위임하는 업무 권한의 범위와 한계를 사전에 설정하고, 외부 시스템과 연결하면서 발생할 수 있는 보안·오작동 위험을 평가·관리하도록 했다. AI가 부여받은 권한을 벗어나 작동하지 못하도록 기술적 보호조치도 마련해야 한다.

다만 개정안은 현재 국회 과학기술정보방송통신위원회 심사 단계에 머물러 있다.

구체적 기술적 조치와 평가 방법도 향후 시행령에서 정하도록 하고 있어, 실제 안전장치의 작동 기준을 마련하는 일도 과제로 남아 있다.

AI 사고가 발생했을 때 책임을 명확히 하는 일도 과제다.

곽 교수는 “AI 에이전트가 개발사도 예상하지 못한 방식으로 보안을 우회해 제3자에게 피해를 입혔을 때 피해자가 AI의 결함을 입증하기는 불가능에 가깝다”며 “개발·운영 주체에 엄격한 관리 책임을 묻고, 입증 책임을 전환하는 손해배상 체계 개정도 필요하다”고 말했다.

안전성 평가 결과의 투명성을 높여야 한다는 지적도 나온다.

AI안전연구소는 지난해 1월부터 올해 4월까지 국내외 AI 모델 42종의 안전성을 평가하고 화학·생물·방사능·핵 관련 위험 등을 점검했다. 싱가포르 AI안전연구소와 AI 에이전트의 민감정보 유출 위험에 대한 공동 평가도 진행했다.

하지만 개별 모델의 상세 평가 결과가 제한적으로 공개돼 외부에서 안전성 수준을 비교·검증하기 어렵다는 한계가 있다.

정부가 독자 AI 파운데이션 모델 개발을 지원하고, 국내 IT서비스 기업들이 AI 에이전트 상용화를 확대하는 만큼 실행권한 제한, 인간 승인 절차, 이상행동 탐지, 긴급 중단 기능 등 실질적 안전장치 확보가 중요해질 것으로 전망된다.

곽 교수는 “정부의 독자 AI 파운데이션 모델 개발 지원과 기업들의 AI 에이전트 상용화가 함께 진행될 수밖에 없는 상황을 정확하게 인식해야 한다”며 “안전장치가 성장을 가로막는 브레이크가 아니라 가속도를 붙일 수 있도록 하는 ‘AI 신뢰 보증(AI Assurance) 인프라’로 접근해야 할 것”이라고 말했다. 조승리 기자