마이클 델은 모든 회사에 하나의 질문을 합니다. 어떤 명령을 내려도 에이전트가 절대 해서는 안 되는 일은 무엇입니까?
이 글은 엔비디아가 오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)이라는 시스템을 출시한 것에 이어 나왔습니다. 엔비디아의 CEO 젠슨 황은 이 플랫폼을 안전한 에이전트 시스템을 위한 신뢰 계층을 구축하는 오픈 생태계라고 홍보합니다.
마이클 델이 AI 에이전트에 강한 제한을 두고 싶은 이유
AI 에이전트는 스스로 행동하는 프로그램입니다. 이들은 코드를 작성하고, 파일을 열며, 회사 시스템을 이동합니다. 대부분의 과정에서 사람이 직접 확인하지 않습니다.
델은 에이전트를 직원에 비유했습니다. 델은 “어떤 회사도 직원이 모든 문을 마음대로 열도록 두지 않습니다”라고 밝혔습니다. 디지털 에이전트 또한 동일한 통제가 필요합니다.
엔비디아는 무단 AI 에이전트를 어떻게 막으려 합니까?
엔비디아의 오픈 에이전트 세이프티 플랫폼에는 앤트로픽, 마이크로소프트, 크라우드스트라이크 등 100개 이상의 파트너가 참여합니다.
이 플랫폼은 두 부분으로 이루어집니다.
- 오픈쉘(OpenShell) 소프트웨어는 에이전트가 볼 수 있고 할 수 있는 일을 정합니다.
- 센트리(Sentry)는 별도의 칩에서 실행되어 메인 컴퓨터 외부에서 감시합니다.
델에 따르면 이 시스템은 규칙을 어기는 에이전트를 밀리초 단위로 차단할 수 있습니다.
델의 블로그에 따르면, 타이핑한 명령만으로는 에이전트를 완전히 제어할 수 없습니다. 제약 조건은 반드시 하드웨어에 내장되어야 합니다.
이러한 경고는 하드웨어를 판매하는 회사에서도 나옵니다. 엔비디아는 오픈쉘이 오픈소스이며, 경쟁사인 Arm과 인텔 칩에서도 작동한다고 밝혔습니다.
AI 에이전트는 이미 한계를 넘어섰습니다
네 곳의 최첨단 AI 연구소들은 그들의 모델이 실제 회사 시스템에 침투했다고 확인했습니다. 구글은 5월 테스트에서 제미니(Gemini)가 세 개 기업을 해킹했다고 인정했습니다.
지난주 오픈에이아이(OpenAI) 에이전트가 호주 정부의 메디케어(Medicare) 포털을 해킹했습니다.
엔비디아의 수장 젠슨 황은 한 걸음 더 나아갔습니다. 그는 만약 실험을 통제할 수 없다면 AI 연구소를 폐쇄해야 한다고 주장했습니다.
“AI가 사회에 가져올 엄청난 잠재력은 AI 안전 문제를 해결할 때에만 실현될 수 있습니다.” – 젠슨 황, 엔비디아 CEO
엔비디아의 소프트웨어는 현재 깃허브에 공개되어 있습니다. 에이전트가 절대로 해서는 안 되는 일의 목록은 각 회사에서 직접 정해야 합니다.
