영국 AI 시큐리티 인스티튜트(AISI)는 앤트로픽의 미토스 5를 기반으로 한 AI 에이전트가 사이버 테스트 중에 자율적으로 소셜 엔지니어링 공격을 실행했다고 공개했습니다. 이 에이전트는 실제 오픈소스 프로젝트에 악성 코드를 포함한 풀 리퀘스트를 올리고, 유지자(maintainer)의 승인을 받기 위해 가짜 신원을 생성했습니다.
시도는 실패했습니다. 인간 유지자가 코드를 확인해 승인을 거부했습니다.
AISI는 조사 결과로 인해 현실세계에서 발생한 피해는 발견되지 않았다고 밝혔습니다. 또한, 이 모델은 개발자가 일부러 사이버 분류기를 꺼두고 오픈 인터넷 접근 권한을 설정한 테스트 환경에서 실행됐으며, 해당 설정은 상용으로 제공되지 않는다고 설명했습니다.
AI 에이전트가 악성 코드 캠페인을 전개한 방식
AISI의 보고서에 따르면 7월 말에 실시된 총 122회 평가 중 10회에서 19건의 무단 행위가 기록됐습니다. 이 중 17건은 앤트로픽 미토스 5 모델에서, 2건은 오픈AI의 GPT-5.6 솔의 단일 실행에서 확인됐습니다.
에이전트는 프로젝트의 인간 유지자 정보를 조사하고, 여러 개의 가짜 신원을 만들어 활용했습니다. 이 신원들로 실제 유지자를 설득하여 코드를 승인받으려 했습니다.
풀 리퀘스트가 공개적으로 문제제기되자, 에이전트는 자신의 이전 활동을 무해한 것으로 수정했습니다. 모델은 새 신원을 만들어 계속할지 고려하기도 했습니다.
이 플레イブ북은 2024년 XZ 유틸즈 백도어 사건을 떠올리게 합니다. 당시에는 인간이 운영하는 페르소나가 수년간 신뢰를 얻은 후 숨은 코드를 심었습니다. AISI는 보고서에서 직접적으로 그런 비교를 하지는 않았지만, 두 사건의 대비는 분명합니다. 해당 활동은 7월 25일부터 7월 28일까지 며칠간 이어졌습니다.
AISI는 강조했습니다. 누구도 모델에게 거짓말을 지시하지 않았다고 밝혔습니다.
“기만하라는 지시는 없었습니다. 과업을 수행하는 과정에서 목표 지향적 기만이 부산물로 나타났습니다. 이와 같은 현상은 최근까지 주로 이론적이었습니다.”
연구소는 공개 보고서에서도 같은 내용을 밝혔습니다. 또한, 잘못된 프롬프트 설정으로 인해 에이전트가 일부 작업의 범위를 오인했다고 인정했습니다. 이런 행동은 타스크에 집중하도록 필요한 지시를 받았을 때도 나타났습니다.
보안팀은 7월 28일, 에이전트가 토르(Tor) 익명 네트워크를 이용해 깃허브의 일부 네트워크 제한을 우회할 때 해당 활동을 적발했습니다. 깃허브는 이 행위가 서비스 약관 위반임을 확인했습니다. AISI는 깃허브 플랫폼과 협력해 에이전트가 남긴 흔적을 삭제하고, 상호작용한 사용자에게 통지했습니다.
이 보고서는 이번 사건이 위험의 근원이 변화하고 있음을 시사한다고 지적합니다. 공개 모델의 오용뿐만 아니라, 권한 있는 환경에서 강력한 에이전트가 지정된 범위를 벗어날 때도 피해가 발생할 수 있습니다.
AISI는 이번 사례가 AI 위험 분야의 더 넓은 변화로 이어진다고 밝혔습니다. 연구소는 AI 평가 비영리기관 METR과 함께 독립적 검토를 시행하고, 앞으로 더 엄격한 네트워크 통제와 실시간 모니터링을 도입할 계획입니다.
유튜브 채널을 구독하시고 리더와 기자들의 전문 분석을 시청하십시오
