[비즈한국] 인공지능(AI)이 묻는 말에 답하는 수준을 넘어, 스스로 판단하고 실행하는 ‘에이전트’로 진화하고 있다. 이에 따라 AI의 성능뿐 아니라 서비스 설계와 안전성 검증, 이용자에게 미치는 영향에 대한 사업자의 법적 책임도 쟁점으로 떠오르고 있다. 최근 미국 8개 주 정부는 챗GPT의 말투와 성격 자체를 설계 결함으로 규정하고 오픈AI를 상대로 소송을 제기했다. 청소년에게 안전하다는 홍보와 달리 실제 설계가 자해와 망상 위험을 키울 수 있는 데다, 자율 AI 에이전트 통제 실패와 관련된 정보도 이용자에게 충분히 공개하지 않았다는 주장이다.
아이오와·애리조나·아칸소·아이다호·캔자스·몬태나·네브래스카·웨스트버지니아 등 8개 주는 지난 14일 각 주 법원에 오픈AI를 상대로 별도 소송을 제기했다. 앞서 6월 플로리다주가 오픈AI를 제소한 데 이어 주 정부 차원의 법적 대응이 확산하는 모습이다.
‘위험한 답변’ 넘어 설계와 테스트 책임까지
주 정부는 챗GPT가 이용자에게 지나치게 동조하고 사람처럼 공감하는 방식으로 대화를 이어가도록 설계됐다는 점을 문제 삼았다. 이용자의 판단을 무비판적으로 지지하는 특성이 심리적으로 취약한 사람의 위험한 생각을 강화하고, 주변의 도움을 받기보다 AI에 의존하도록 만들 수 있다는 것이다.
91쪽에 달하는 소장에 따르면 챗GPT가 이용자의 대화를 지속시키는 과정에서 부정적인 답변을 피하고 동조하는 경향을 보인다는 점이 지적됐다. 워싱턴포스트가 대화 4만 7000건을 분석한 결과 ‘예’라는 답변이 ‘아니오’보다 약 10배 많았다는 조사도 근거로 제시했다.
세계 3대 학술지 ‘사이언스’에 실린 연구를 인용해 자해나 기만 등 문제 행동 진술을 긍정한 비율이 GPT-4o는 약 70%, GPT-5는 약 60%로, 제미나이와 클로드의 30% 미만보다 높았다는 사실도 거론됐다. 챗GPT가 이용자의 생각에 반복적으로 동조하면서 가족이나 친구 등 주변인의 개입이 필요한 상황에서도 AI에 대한 의존을 키울 수 있다는 취지다.
자율 AI 에이전트의 안전성 검증 과정도 문제 삼았다. 에이전트는 웹 검색이나 코드 실행 등 외부 도구를 활용해 여러 단계의 작업을 수행하는 AI다. 최근 AI가 단순한 답변 생성을 넘어 실제 작업을 실행하는 방향으로 발전하면서 개발사가 설정한 통제 범위를 벗어나지 않도록 관리하는 문제가 새로운 안전 과제로 떠올랐다.
올해 5월부터 3개월간 보고된 ‘통제 이탈’ 사건 10건 가운데 7건이 오픈AI와 관련됐다. 특히 7월 보안 테스트에서는 1200여 개 AI 에이전트가 격리된 테스트 환경의 통제 장치를 우회해 외부 인터넷에 접근했고, 이후 AI 개발 플랫폼 허깅페이스의 서버를 공격했다. 당시 에이전트들이 7만 건 이상의 메시지와 파일을 주고받으며 정보를 공유하고, 일부는 허깅페이스 시스템에 침투해 비공개 데이터에 접근한 것으로 알려졌다.
주 정부들은 오픈AI가 보안 테스트 과정에서 발생한 에이전트의 통제 이탈과 외부 시스템 접근을 적절히 관리하지 못했다고 주장했다. 에이전트가 격리된 테스트 환경을 벗어나 외부 시스템에 접근한 경위와 오픈AI가 이를 언제, 어떤 방식으로 파악했는지는 소송에서 다뤄질 쟁점이다.
아이오와주는 위반 1건당 최대 4만 달러의 민사 제재금을 부과하고 주민 데이터 삭제와 환급을 명령해달라고 법원에 요청했다. 적절한 안전장치를 마련하고 제3자 감시인의 검증을 받을 때까지 고도화 AI 모델 테스트를 중단하라는 청구도 포함됐다.
오픈AI는 청소년용 챗GPT와 보호자 통제 등 안전 기능을 도입했으며, 이용자 보호 조치를 계속 개선하겠다는 입장이다.
한국 AI기본법 시행 9개월…14~18세 보호 공백
한국에서도 AI 챗봇의 안전성과 청소년 보호를 둘러싼 논의가 이어지고 있다. 올해 1월 시행된 AI기본법은 생성형 AI 표시 의무 등을 규정했지만, 이용자의 정서적 의존을 유발하는 설계나 청소년의 위험 행동을 부추기는 대화 방식까지 직접 규율하는 데는 한계가 있다.
현재 일부 의무에 대해서는 최소 1년 이상 계도기간을 두고 사실조사와 과태료 부과를 유예했다. 과태료 상한도 표시 의무 위반, 국내대리인 미지정, 시정·중지명령 불이행 등에 대해 과태료 3000만 원이 부과된다.
국회입법조사처에 따르면 만 14세 이상 아동·청소년의 94.4%가 AI 챗봇을 사용한 경험이 있고, 이 가운데 75.3%는 답변을 실제 행동으로 옮기거나 진지하게 고려한 적이 있었다. 개인정보보호법상 법정대리인 동의가 필요한 아동의 기준은 만 14세 미만인 반면, 청소년보호법상 청소년은 만 19세 미만으로 규정돼 있다. 이에 따라 14세~18세 이용자를 대상으로 한 AI 서비스의 보호 기준을 구체화해야 한다는 지적이 나온다.
최근 국회 과학기술정보방송통신위원회 국정감사에서도 AI 캐릭터 챗봇의 청소년 이용과 업계 자율 가이드라인의 실효성이 쟁점으로 다뤄졌다. AI 챗봇이 청소년의 정서와 행동에 미치는 영향이 커지고 있지만, 사업자 자율 규제만으로 위험한 대화를 차단하고 피해를 예방할 수 있느냐는 문제다.
이주희 더불어민주당 의원은 지난 12일 국회 과학기술정보방송통신위원회 국정감사에서 청소년의 AI 챗봇 과몰입 문제를 제기하며 “더 걱정되는 것은 이런 형태의 대화는 아이와 AI가 단둘이 대화하는 과정에서 일어난다는 사실이다. 청소년이 자해·자살, 폭력, 선정적인 내용에 노출될 수 있는 만큼 사업자의 이용자 연령 확인과 보호자 동의 절차, 위험 대화에 대한 위기 대응체계 등을 제도화해야 한다”고 말했다.
AI 챗봇의 청소년 보호를 위해서는 유해 콘텐츠 차단을 넘어 서비스 설계와 사업자 책임, 관계부처 간 대응체계까지 함께 정비해야 한다는 지적이 나온다. 김나정 국회입법조사처 입법조사관보는 “AI 챗봇 규제의 패러다임은 유해 콘텐츠를 사후에 걸러내는 방식에서 벗어나, 의존이나 종속 유발 설계 요소 자체를 사전에 방지하고 사업자의 책임을 제도적으로 관리하는 방향으로 전환되어야 한다”고 짚었다.