중국 연구소 딥씨크(DeepSeek)의 대표적인 추론 모델인 딥씨크-R1(DeepSeek-R1)은 벡타라(Vectara)의 HHEM 2.1 벤치마크 기준 환각률이 14.3%에 이릅니다. 이는 추론 기능이 없는 이전 버전 딥씨크-V3(DeepSeek-V3)의 3.9%에 비해 거의 네 배 높은 수치입니다.
이 격차는 암호화폐 산업에 중요한 질문을 제기합니다. 최근 빠르게 성장 중인 AI 에이전트 토큰들은 자율 트레이딩, 시그널, 그리고 온체인 실행을 위해 추론형 대형언어모델을 활용합니다.
벡타라 데이터, R1이 허위 사실을 과도하게 제공함을 보여주다
벡타라(Vectara)는 딥씨크 모델 둘 모두를 HHEM 2.1 환각 평가 프레임워크로 테스트했습니다. 분석팀은 구글의 FACTS 방식을 통해 결과를 교차 검증했습니다. R1은 모든 테스트 환경에서 V3보다 더 많은 허위 또는 근거 없는 진술을 생성했습니다.
이 원인은 단순한 추론 깊이 때문만은 아닙니다. 벡타라 분석가들은 R1이 “도움을 과하게 준다”고 밝혔습니다. 이 모델은 원문에 없는 정보를 추가합니다.
추가된 세부 정보가 사실로 맞을 수 있지만, 환각으로 간주됩니다. 이런 행동은 제대로 된 답변에도 조작된 문맥이 섞이게 만듭니다.
벡타라는 X에 공개 글을 통해 해당 결과를 직접 발표했습니다.
“딥씨크-R1 환각률은 14.3%로, 딥씨크-V3보다 거의 네 배 높습니다.”라고 벡타라는 글에서 언급했습니다.
이 패턴은 딥씨크에만 국한되지 않습니다. 업계 관측자들은 다른 연구소 추론형 모델들에서도 비슷한 트레이드오프를 보고 있습니다. 연쇄적 사고를 강화하는 강화학습 기법은 대담하고 확신에 찬 생성도 함께 촉진합니다.
왜 암호화폐 AI 토큰이 이런 트레이드오프에 놓여 있는가
암호화폐 시장에는 지금 수백 개의 AI 에이전트 토큰이 상장되어 있습니다. 버추얼스 프로토콜(Virtuals Protocol, VIRTUAL), ai16z(AI16Z), aixbt(AIXBT)가 대표적입니다.
이 카테고리는 최근 30일 동안 약 39.4% 성장했습니다. 버추얼스는 혼자서도 시가총액 5억 7천 6백만 달러를 돌파했습니다.
대부분의 AI 에이전트는 대형언어모델을 각종 도구와 결합해서 제공합니다. 이렇게 하면 에이전트가 SNS 글을 올리거나, 트레이드를 라우팅하거나, 토큰을 민팅하거나, 시장 분석을 생성할 수 있습니다.
만약 기반 모델이 가격, 파트너십, 컨트랙트 주소 등을 허위로 만들어 낸다면, 그 결과는 온체인에 직접 영향을 줄 수 있습니다.
비인크립토(BeInCrypto)의 AIXBT 분석에 따르면, 해당 에이전트는 416개 토큰을 추천했는데, 평균 수익률이 19%였습니다. 그러나 같은 구조 때문에 모델 실패 시 팔로워들은 잘못된 신호에 노출됩니다.
위험의 범위는 자율성에 따라 커집니다. 단순히 시장심리를 요약하는 에이전트와, 트레저리 키를 보유한 에이전트는 위험 수준이 다릅니다.
추론 모델은 복수 단계를 계획하는 에이전트에 특히 매력적입니다. 바로 이러한 활용 사례에서 벡타라의 14.3% 수치가 가장 큰 문제로 작용합니다.
연쇄적 사고 초반에 하나의 허구 사실이 개입된다면, 이후 모든 단계에 영향을 줄 수 있습니다.
르쿤: 문제의 원인은 아키텍처 자체에 있다
야오 르쿤(Yann LeCun) 메타(Meta) 최고 AI 과학자는 오토리그레시브 LLM이 환각에서 완전히 벗어날 수 없다고 주장해왔습니다. 그 관점에서는, 아키텍처 자체에 세계를 근거로 삼는 구체적 모델이 없기 때문입니다.
연쇄적 사고에서의 강화학습으로 수학이나 코딩처럼 좁은 영역 내에선 문제를 가릴 수 있습니다. 그러나 근본적 원인은 여전히 해결되지 않습니다.
다른 선진 연구소들은 다른 입장을 보입니다. 이들은 검색 보강, 사후 미세조정, 검증 모델 등을 통해 벤치마크 환각률이 꾸준히 개선되고 있다고 주장합니다. 하지만 개발자 현장 보고서는 주로 순위표 수치와 일치합니다.
AI 연구자 xlr8harder는 R1 디버깅 세션에 대해 X에 남긴 글에서 일상적인 경험을 요약했습니다.
“딥씨크 R1은 자신의 사고흔적을 통합하지 못하는 흥미로운 이해 방식을 지녔습니다. … 그래서 저를 끊임없이 환각으로 현혹하는 쪽으로 대처합니다.”라고 그는 밝혔습니다.
암호화폐 에이전트 개발자들에게 실질적 과제는 구조적 철학보다 위험 관리입니다. 모든 모델 주장마다 검증 과정이 들어가는 설계가 더 나은 결과를 낼 수 있습니다.
재정 관련 작업은 더 작고 보수적 모델에 의존하는 에이전트에서 같은 전략이 적용될 수 있습니다.
다음 순위표 주기와 R1의 후속 모델에서, 추론과 정확성 간의 간극이 좁혀질지 지켜볼 필요가 있습니다.
현재로선, 14.3%와 3.9%의 차이는 반드시 주시해야 할 운영적 세부 사항입니다. 이는 실제 동작하는 상품을 내놓는 AI 에이전트 토큰과 아직 약속에 머무는 토큰을 나눌 수도 있습니다.
