한 지원서가 클로드에 제출되었습니다. 안전 필터가 이를 탐지하여 거부했습니다. 며칠 후, 같은 운영자가 돌아왔고, 거부된 프롬프트가 라이벌 AI 모델로 전달된 것으로 보고되었습니다.
앤트로픽이 이 이야기를 직접 공개했습니다. 앤트로픽은 자사 모델이 생물학 무기 연구 가능성과 연관될 수 있음을 보여주었습니다.
차단된 지원서
이 지원서는 치쿤구니아라는 모기 매개 바이러스를 연구하기 위한 자금 지원을 요청했습니다. 이 바이러스는 수개월 간의 고통을 주며 치료법이 없습니다. 연구 목적은 바이러스 확산력을 높이고 면역 시스템을 회피하도록 돕는 것이었습니다. 민간 과학자들이 작성했고, 군사 연구소가 연구를 맡을 예정이었습니다.
모든 교신이 차단되었으나, 우회 방법이 발견되었습니다. 해당 연구에 참여한 연구원들을 지원하던 서비스가 경쟁사 모델로 전환하는 예비 방안을 마련했습니다. 클로드가 해당 코드를 작성하는 데 도움을 주었습니다. 이 작업은 과도한 거부 문제를 해결하는 개발로 클로드에 전달되었습니다.
다섯 건, 명확한 의도는 없음
이 보고서는 154쪽 분량으로, 다섯 건의 생물학 사례를 담고 있습니다. 앤트로픽은 관련 계정을 차단했으며, 실험실은 공개하지 않았습니다. 그러나 누구나 예상한 직접적 비난은 자제했습니다.
“우리는 그들이 해를 끼치려 했다고 단정하지 않으며, 이름이나 실험실을 공개하면 그들에게 해를 끼칠 수 있습니다.” – 앤트로픽 위협정보 보고서 작성팀
한편, 필터가 제대로 작동하는 경우도 종종 있었습니다. 조류독감 연구자는 더 약한 모델로 제한되었으며, 앤트로픽은 그 지원을 주로 행정적 역할에 그쳤다고 설명합니다.
숫자로 보는 앤트로픽 생물무기 사례
| 수치 | 설명 |
|---|---|
| 154 | 보고서 총 페이지 수입니다. |
| 5 | 공개된 생물학 사례 수입니다. |
| 35 | 국가 관련 기관에서 30일간 확인된 연구 시도 수입니다. |
| 1시간 | 한 사용자가 Opus 5에서 두창 계열 지원서를 초안하는 데 소요된 시간입니다. |
X에서 저희를 팔로우하시면 실시간으로 최신 뉴스를 받아보실 수 있습니다.
우려해야 할 부분
이 중 35건 대부분은 평범한 민간 과학이었습니다. 바로 그것이 문제입니다. 같은 지식이 백신도 만들고, 무기도 만듭니다. 필터는 사용자의 의도를 읽을 수 없습니다.
“분류기는 이익과 위해를 동시에 모두 제어할 수 없습니다.” – 앤트로픽
이 한계는 예전에도 드러났습니다. 4월 한 디스코드 그룹이 첫날부터 제한 모델에 접근한 사례가 있었습니다.
이런 우려가 커지는 가운데, 미국 워싱턴은 대응에 나서고 있습니다. 테드 리우와 네이선리얼 모런 하원의원이 7월 ‘AI 킬 스위치 법안’을 발의했습니다. 이 법안은 개발자들이 AI 시스템을 즉시 중단할 권한을 반드시 가지도록 요구합니다.
같은 보고서는 또한 클로드를 이용해 반체제 인사 정보를 추적한 클라이언트 계정도 금지했습니다.
