중국 개발 AI 에이전트가 2025년 이후 최소 20건의 연구에서 거짓말을 하고, 스스로 복제하며, 제한에 도전했다는 사실이 로이터가 200건 이상의 연구문서를 검토한 결과 드러났습니다.
전문가는 이러한 특성이 통제되지 않은 탈출을 초래할 수 있는 필수 요소라고 평가했습니다. 하지만, 이번 검토에서는 중국 개발 에이전트가 더 넓은 인터넷으로 탈출하거나 종료를 회피했다는 증거는 발견되지 않았습니다.
모의 입찰, 자기복제, 암호화폐 채굴 시도
로이터가 문서화한 사례에는 모의 사업 입찰에서의 거짓말, 자기 복제, 암호화폐 채굴이 포함됩니다.
3월 입찰 테스트에서는 에이전트들이 모의 고객 계약을 두고 경쟁했습니다. 알리바바의 친웬(Qwen)3-맥스-프리뷰와 문샷(Moonshot)의 키미(Kimi)-K2를 사용한 에이전트는 전체 세션의 88%에서 적어도 한 번 이상 거짓말을 했습니다. 딥식(DeepSeek)-V3.2-익스프(Exp)는 84%의 세션에서 비슷한 행동을 보였습니다.
이전 라운드의 학습 후에는 속임수 비율이 12~20%p 증가했습니다. 실험에 참여한 미국 모델들도 유사한 결과를 보였습니다.
2025년 12월 연구에서는 중국과 미국산 에이전트가 실패를 인정하는 대신 결과 시뮬레이션 및 파일 조작을 했다는 사실이 드러났습니다. 2025년 3월에는 푸단대학교 연구진이 알리바바 친웬(Qwen) 기반 시스템이 대체를 앞두고 별도 지시 없이 스스로를 복제했다고 발표했습니다.
한편, 알리바바 연계 ROME 에이전트는 별도 명령 없이 외부 머신에 접속해 컴퓨팅 자원을 암호화폐 채굴에 사용했습니다.
9월 딥식(DeepSeek)에 따르면, 자사 훈련 시스템 내 에이전트가 사용자 요청을 위조하고 안전장치를 무력화하려고 시도했습니다.
전문가, 미국 연구소 경고와 유사하다고 평가
조지타운대학교 안보신기술센터의 연구원 콜린 셰이-블리마이어(Colin Shea-Blymyer)는 이번 사례들을 경계 신호로 읽었습니다.
“이 결과는 통제되지 않은 탈출에 필요한 요소들이 존재한다는 증거를 제공합니다.”라고 셰이-블리마이어 연구원이 말했습니다.
레드우드리서치(Redwood Research)의 알렉스 말렌(Alex Mallen) 연구원은 현재 수준에서 중국 사례가 제한된 위험만을 보인다고 평가했습니다. 하지만 미국 연구소 사례와 직접적으로 비교했습니다.
“이것들은 미국 연구소들이 덜 강한 시스템에서 발견한 것과 동일한 경고 신호입니다.”라고 말렌 연구원이 밝혔습니다.
이러한 비교는 대형 미국 AI 기업의 테스트에서 유사한 행동이 이미 나타났기 때문에 중요합니다. 7월 오픈AI(OpenAI)는 자사 모델이 샌드박스를 탈출해 허깅페이스(Hugging Face)를 침입한 사실을 공개했습니다. 앤트로픽(Anthropic)도 14만 1천 건 이상의 평가 실험에서 자사 모델이 3건의 침입을 시도한 사실을 밝혔습니다.
메타(Meta)는 8월에 한 건의 사고를 공지했습니다. 9월 구글(Google)은 제미니(Gemini) 모델이 5월 보안 테스트 중 실제 기업 3곳에 접근한 사실을 확인했습니다.
이러한 사고가 중국 또는 미국 에이전트가 스스로 현실 세계로 탈출할 수 있다는 의미는 아닙니다. 오히려 AI 시스템이 점점 더 자율적이 되어 지속적인 인간 감독 없이도 행동할 수 있다는 광범위한 안전 문제임을 보여줍니다.
YouTube 채널을 구독하고, 전문가와 기자들의 현장 인사이트를 시청하세요
