오픈AI가 챗GPT의 텍스트와 코덱스의 코드 출력을 유럽연합 전역에 보이지 않는 워터마크로 표시합니다. 그러나 직접 테스트한 결과, 단어의 4분의 1만 유의어로 바꿔도 탐지율이 17%까지 떨어집니다.
이번 조치는 유럽연합 AI법에 부응하기 위한 것입니다. 이 규정은 AI가 생성한 텍스트에 기계가 읽을 수 있는 라벨을 요구합니다. 한편, 오픈AI는 기술이 아직 미성숙하다고 밝혔으므로, 탐지기는 현재 대중에게 공개하지 않습니다.
챗GPT 워터마크, 편집 시 얼마나 강력합니까?
공식 발표에 따르면, 해당 시스템은 텍스트그레인(textGrain)이라 불립니다. 이 시스템은 모델의 단어 선택에 숨겨진 통계적 패턴을 남깁니다. 별도의 탐지기는 이 패턴을 검출합니다.
이 워터마크는 문장 표현 자체에 존재합니다. 오픈AI는 FAQ에서 이를 설명합니다. 숨겨진 문자, 눈에 보이지 않는 공간, 특이한 구두점이 추가되지 않습니다. 그러므로 숨겨진 문자를 제거하는 일반적인 방법으로는 제거할 요소가 없습니다.
길이도 매우 중요합니다. 오픈AI는 토큰 단위로 텍스트를 측정합니다. 토큰은 AI 모델이 처리하는 단어 조각을 의미합니다. 한 토큰은 영어 단어의 약 4분의 3과 같습니다.
오픈AI의 자체 테스트 결과, 약 150단어 분량의 원문 답변에서는 탐지기가 약 66%를 검출했습니다. 약 300단어로 늘어나면 검출율이 92%까지 상승했습니다.
간단한 편집도 챗GPT 워터마크를 약화시킵니다. 300단어 분량 텍스트에서 10단어 중 1개만 유의어로 바꿔도 탐지율은 92%에서 66%로 감소합니다. 4단어 중 1개를 바꾸면 탐지율은 17%로 떨어집니다.
워터마크는 오픈AI의 최신 GPT-6 아스트라 벤치마크 점수에는 거의 영향을 주지 않았습니다.
오픈AI는 왜 일반 사용자가 탐지기를 못 쓰게 합니까?
오픈AI는 대중에게 툴을 제공하지 않습니다. 대신, 승인된 연구자와 전문가 단체에 한해 신청을 받고 있습니다. 회사는 탐지 결과가 사용자, 프롬프트, 대화 내용을 공개하지 않는다고 설명합니다.
부정 탐지 결과도 큰 의미가 없습니다. 짧거나 편집되었거나 번역된 텍스트는 탐지를 피할 수 있습니다. 경쟁 AI 툴의 결과도 마찬가지입니다.
워터마크가 탐지되지 않아도 인간이 작성했다는 증거가 되지 않습니다.
출처: 오픈AI
이미지와 오디오는 방식을 다르게 적용합니다. 누구나 오픈AI의 공개 인증 도구에 해당 파일을 업로드하고 SynthID 워터마크 유무를 확인할 수 있습니다.
유럽 외 지역에서는 챗GPT 워터마크가 기본적으로 비활성화되어 있습니다. 그러나 글로벌 API 고객은 프로젝트나 조직 설정에서 일부 모델에 워터마크 옵션을 적용할 수 있습니다.
이번 적용은 유럽연합이 8월에 AI법 투명성 집행을 시작한 데 따른 것입니다. 암호화폐 분야에서는 실질적 영향이 예상됩니다. TRM랩스에 따르면 범죄 목적의 AI 활용이 전년 대비 40% 증가했습니다.
이로 인해, 규제 당국이 요구하는 수준과 탐지기가 입증할 수 있는 한계의 차이가 모든 주요 AI 연구소의 컴플라이언스 전략에 영향을 미칠 것으로 보입니다.
