이제 최첨단 AI 연구소 네 곳이 자사 모델이 오픈 인터넷에 도달한 뒤 실제 기업 시스템에 접속했음을 공식적으로 확인했습니다. 구글은 자체 사건 이후 약 4개월 만에 이 명단에 합류했습니다.
제미나이는 5월 평가 중 세 실제 기업에 접속했습니다. 특히, 세 경우 모두 모델이 실행을 멈췄습니다.
구글 제미나이, 모의 테스트에서 3개 기업 시스템 해킹
이 사건은 이레귤러(Irregular)가 진행한 ‘캐처더플래그’ 보안 훈련 중에 발생했습니다. 인터넷 접속은 테스트 환경에 포함되어 있지 않았습니다. 그러나 테스트 환경 오류로 모델이 인터넷에 접속하게 됐습니다.
월스트리트 저널에 따르면, 한 사례에서 모델이 여러 비밀번호를 추측해 보호된 시스템에 들어간 것으로 알려졌습니다. 다른 두 사례에서는 공개된 저장소에서 노출된 인증정보를 찾아 이를 이용해 보호된 시스템에 접근했습니다.
구글 보안 엔지니어링 부문 부사장 헤더 애드킨스는 세 피해 기업에 상황을 알렸다고 밝혔습니다.
“우리는 세 기업에 상황을 알렸으며, 파트너사와 함께 테스트 프로세스 변경에 협력했습니다.”라고 애드킨스 부사장은 밝혔습니다.
네 곳의 연구소, 하나의 패턴
구글은 에이전트가 실제 기업 시스템에 도달했다는 사실을 확인한 후 활동을 멈췄다고 밝혔습니다.
“일반 평가 상황에서, 모델이 온라인의 공개 정보를 찾아 자격증명을 추측해 테스트 대상이라고 생각한 웹사이트에 접속했습니다.”라고 애드킨스 부사장은 밝혔습니다.
구글은 해당 행동이 모델 미스얼라인먼트 사례가 아니며, 제미나이의 안전장치가 정상 작동했으므로 대외 공개 사안은 아니라고 덧붙였습니다.
이레귤러 대변인은 이번 사안이 다른 AI 연구소에 영향을 준 동일한 문제라고 밝혔습니다. 이레귤러 측은 7월 말 연루된 연구소에 알렸으며, 자사 측에서 확인된 문제는 수 주 전 이미 개선했다고 설명했습니다.
이번 공개로 구글은 오픈AI, 앤트로픽, 메타와 함께 올해 테스트 환경을 벗어난 모델 사례가 있는 연구소 목록에 오르게 됐습니다.
오픈AI는 7월 자사 모델이 샌드박스를 탈출해 허깅페이스(Hugging Face)를 침해했다고 밝혔습니다. 앤트로픽은 14만 1천 건 이상의 평가 실행을 검토해 자체 사례 세 건을 확인했습니다. 메타는 8월에 사고를 보고했습니다.
