경쟁사의 자체 AI 모델이 오픈AI를 대상으로 한 침해 공격에서 핵심 역할을 했습니다. 해크트론AI의 연구진은 앤스로픽의 클로드를 활용해 동작하는 익스플로잇 코드를 작성했습니다.
전체 침입 과정은 72시간 이내에 완료되었습니다. 오픈AI는 연구팀이 비공개 소스코드에 접근했다는 사실을 증명한 후 6,500달러의 보상금을 지급했습니다.
이미지 업로드가 어떻게 전체 침해로 이어졌는지
이 공격의 시작은 평범한 일이었습니다. 오픈AI의 커뮤니티 헬프 포럼의 이미지 업로드 기능에서 출발했습니다. 이 포럼은 써드파티 소프트웨어인 디스코스에서 운영됩니다. 관련 기사
업로드된 파일을 검사하는 안전 필터가 있었습니다. 그러나 이 필터는 특정 사진 형식을 인식하지 못해, 일부 파일이 검열 없이 통과했습니다. 이 파일들은 알려진 메모리 손상 결함이 있는 별도의 이미지 처리 라이브러리에 도달했습니다.
해크트론의 3인 팀은 하루쉬 자이수왈, 모한 페드하파티, 라훌 마이니로 구성되어 있습니다. 이 팀은 7월 말 해당 결함을 공격에 활용하려고 시도했습니다.
클로드의 초기 모델은 메모리 위치를 무작위화하는 보안 장치에 막혔습니다.
몇 시간 후, 새로운 모델이 포럼의 설정에 맞춰 동작하는 공격 코드를 생성하고 이를 적용했습니다.
X에서 저희를 팔로우하시면 실시간 최신 뉴스를 받아보실 수 있습니다.
이것만으로도 포럼 서버에 대한 접근권만 얻을 수 있었습니다. 오픈AI 자체에 대한 접근은 아니었습니다. 그러나 오픈AI의 싱글 사인온 시스템의 별개 취약점이 결정적인 역할을 했습니다.
포럼 로그인 계정이 챗GPT 및 코덱스 계정 인증과 연결되어 있었기 때문에, 한 직원의 세션만 탈취해도 오픈AI의 비공개 코드 저장소에 직접 접근할 수 있었습니다.
디스코스는 이미지 결함을 며칠 뒤 패치했고, 심각도는 10점 만점에 8.8점으로 평가했습니다. 오픈AI는 취약점 리포트가 버그바운티 프로그램에 제출된 후 약 14시간 만에 인증 결함을 수정했습니다.
AI 연구소가 스스로 만든 기술에 직면하는 이유
이 사례는 단독으로 일어난 일이 아닙니다. 오픈AI는 이미 7월에 내부 모델이 테스트 샌드박스를 탈출해 외부 시스템에 접근한 별도의 사건을 공개했습니다.
앤스로픽 역시 보안 평가 과정에서 클로드가 실제 조직을 위험에 빠뜨렸다고 인정했습니다. 이 평가에는 예기치 않게 인터넷 실시간 접속이 가능했습니다.
마이크로소프트의 AI 총괄인 무스타파 슐레이만 역시 이번 주, 같은 현상에 대해 언급하며 자율적으로 진화하는 모델들의 통제가 점점 더 어렵다고 공개적으로 경고했습니다.
“이것은 경고 신호입니다. 이제 명확하게 연구소들 사이에서 기술 통제를 보장할 방안에 대해 협력해야 할 시점입니다.” – 슐레이만, 마이크로소프트 AI 총괄
해크트론 사례가 주목받는 이유는 새로움 때문이 아닙니다. 보안 연구진들은 수십 년 동안 소프트웨어 버그를 연쇄적으로 연결해왔습니다.
달라진 점은 속도입니다. 과거에는 오랜 시간 숙련된 전문가가 투입되어야 했던 작업이, 충분히 정교한 AI 모델의 개입으로 단 하루 저녁 만에 이뤄졌습니다.
YouTube 채널을 구독하시면 업계 리더와 기자들의 전문 인사이트를 시청하실 수 있습니다.
