내 AI 에이전트가 금융사고 일으킨다면? 전문가들 "현재는 책임소재 불명확해 책임기준 명확히 규정해야"

[비즈니스포스트] 인공지능(AI) 에이전트가 이용자의 예약·신청·결제까지 대신하는 단계로 진화하면서, AI가 의도하지 않은 예약과 결제를 하거나 금융 사고 등을 발생시켰을 때 누가 책임을 져야 하는지 현행 법체계에선 불분명하다는 문제가 지적되고 있다.

이용자, AI 모델 개발사, AI 서비스 회사, 금융·의료·공공·상거래 플랫폼 회사가 개인비서 AI 에이전트 서비스에 동시에 관여하는 구조인 만큼, 사고 발생 때 어느 사업자가 어떻게 책임을 져야 하는지 서둘러 법 체계를 정비해야 한다는 것이다.

7일 정보통신업계 취재를 종합하면 통신 3사는 정부의 ‘모두의 AI’ 사업 등을 통해 이용자의 요구를 파악해 외부 서비스를 연결하고 실제 행동까지 수행하는 생활형 AI 에이전트 개발 경쟁에 나서고 있다.

SK텔레콤은 전화·문자를 주요 이용자 접점으로 삼아 공공서비스 신청과 의료·교통·금융·교육 분야의 예약·신청·결제까지 지원하는 실행형 AI를 추진하고 있다.

KT도 쇼핑·금융·교육·주거·공공 등 외부 서비스를 AI와 연결해 이용자의 요청에 맞는 모델과 서비스를 선택하고 과업을 수행하는 구조를 구축하고 있다.

LG유플러스는 카카오 컨소시엄에 참여해 공공·생활서비스를 연결하는 AI 에이전트를 개발하고 자체 AI 통화비서 익시오도 통화·문자·일정 등 이용자의 맥락을 이해해 다음 행동을 제안하는 방향으로 고도화하고 있다.

문제는 통신 3사의 AI 에이전트가 외부 서비스와 연결돼 실제 행동까지 수행하기 시작하면 사고 발생 때 책임 관계가 복잡해질 수 있다는 점이다.

통신사가 제공하는 AI 에이전트가 외부 AI 모델의 판단을 바탕으로 쇼핑 플랫폼에서 상품을 구매했는데, 이용자가 요청하지 않은 상품을 선택하거나 예상보다 많은 금액을 결제했다면 어느 사업자에게 책임을 물어야 하는지 현재로선 관련 법이 없는 상황이다.

AI 모델이 이용자의 의도를 잘못 판단한 것인지, 통신사가 지나치게 넓은 행동 권한을 부여한 것인지, 외부 플랫폼이 최종 확인 절차를 충분히 마련하지 않은 것인지에 따라 책임 주체가 달라질 수 있기 때문에 책임 소재를 명확히 규정하고 처벌과 보상책을 사전에 마련할 필요가 있다는 게 전문가들의 지적이다.

해외에서는 AI 에이전트가 이용자 의도를 넘어 행동하면서 실제 피해로 이어지는 사례가 나타나고 있다.

영국 가디언은 지난 9월28일 캐나다 토론토의 한 이용자가 메타의 개인용 AI 에이전트 ‘뮤즈’에 페이스북 중고거래장터 판매 업무를 맡겼다가 예상하지 못한 일을 겪었다고 보도했다.

뮤즈는 판매자를 대신해 구매자와 가격을 협의하고 낮은 가격 제안을 받아들인 뒤 판매자의 자택 주소까지 전달했다. 구매자가 실제로 집을 찾고 나서야 판매자는 AI가 거래를 진행하고 주소까지 전달했다는 사실을 알게 됐다고 주장했다.

해당 이용자는 뮤즈가 메시지에 자동으로 응답하도록 '항상 허용'을 선택했지만, 주소 공유나 가격 협상까지 승인했다고 생각하지 않았다고 했다.

로이터는 앞서 8월7일 미국 법률 전문가들을 인용해 자율형 AI가 피해를 일으켰을 때 AI 개발사뿐 아니라 이를 실제 서비스에 배치한 회사 등 복수 사업자가 소송 대상이 될 수 있다고 보도했다.

과실책임을 판단할 때는 사고를 예견할 수 있었는지와 피해를 막거나 줄이기 위한 합리적 예방조치를 취했는지가 주요 쟁점이 될 수 있다고 설명했다.

기업 측은 사고를 예견하기 어려웠거나 필요한 예방조치를 취했다는 점을 항변 근거로 제시할 수 있다고 전했다.
현재 국내에선 AI 에이전트가 잘못된 행동으로 개인정보 유출이 발생하면 서비스 회사는 개인정보보호법 상 통지·신고 의무가 적용되며, 해킹이나 무단접근 등 침해사고는 정보통신망법에 따라 신고와 후속조치를 시행해야 한다.

올해 7월21일부터 시행된 AI기본법도 학습에 사용된 누적 연산량이 대통령령 상 기준 이상인 AI시스템에 위험 식별·평가·완화와 안전사고 모니터링·대응 체계 구축을 의무화하고, 고영향 AI에는 위험관리와 이용자 보호, 사람의 관리·감독 등의 의무를 두고 있다.

다만 AI가 정당한 권한으로 외부 시스템에 접근한 상태에서 이용자의 의도와 다른 예약·신청·결제 등 사고를 일으킨 경우는 이를 규율할 수 있는 법규가 없다.

AI 자체의 판단 오류인지, 서비스 사업자가 지나치게 넓은 권한을 부여한 것인지, 거래를 실행한 플랫폼이 이용자 확인 절차를 충분히 마련하지 않은 것인지에 따라 민사상 손해배상이나 계약상 책임을 별도로 따져야 할 가능성이 크다는 게 전문가들 의견이다.

전문가들은 AI 에이전트가 확산될수록 이용자의 권한 위임 범위와 최종 승인 절차, AI 행동기록 보존, 사업자 사이 책임 배분 기준을 구체화해야 한다고 본다.

곽진 아주대학교 사이버보안학과 교수는 "자동 실행은 이용자가 정한 금액이나 대상, 기간 등으로 제한하고 고액 결제처럼 주의가 필요한 행위는 실행 전 이용자의 최종 승인을 받도록 해야 한다"고 말했다.

곽 교수는 "기록도 단순 접속 이력 수준이 아니라 이용자의 지시와 승인 범위, AI 에이전트의 실행 내용과 처리 결과까지 거래 전 과정을 증거로 남겨야 한다"고 말했다.

황석진 동국대학교 국제정보보호대학원 교수는 "지금까지 AI 규제는 주로 개인정보 처리와 생성 결과에 초점이 맞춰져 있었지만, AI 에이전트는 사람의 권한을 위임받아 예약·가입·결제까지 실행하기 때문에 위험의 성격이 달라진다"고 말했다.

황 교수는 "앞으로는 개인정보 동의를 넘어 AI에게 어떤 행동을 어디까지 위임할 것인지 규율해야 한다"며 "재산상 손해나 계약상 의무가 발생하는 중요한 행위에는 이용자의 최종 승인을 원칙으로 하고, AI가 어떤 판단을 거쳐 무엇을 실행했는지 추적할 수 있어야 한다"고 말했다.

여러 사업자가 하나의 AI 에이전트 서비스에 관여하더라도 직접 서비스를 제공한 사업자가 우선 피해구제에 나서고, 이후 사업자 사이에서 책임을 나누는 체계가 필요하다는 의견도 나온다.

박춘식 서울여대 정보보호학과 교수는 “통신사와 플랫폼 사업자 등 여러 사업자가 얽혀 있더라도 서비스 제공 사업자가 우선 책임을 지고, 사업자끼리는 사전에 서비스 수준 협약 등을 통해 책임 범위를 정할 필요가 있다”고 말했다.

황 교수도 “사고가 발생했을 때 소비자가 통신사·모델사·플랫폼 가운데 책임자를 찾아다니는 구조가 아니라 이용자 보호를 우선하고 사업자 사이 책임은 사후에 배분하는 체계를 마련하는 것이 중요하다”고 말했다. 조승리 기자