일론 머스크는 그록 4.5가 오퍼스급 모델이며 더 빠르게 실행되고 비용이 더 적게 든다고 밝혔습니다. 독립적이고 자율적인 벤치마크가 이제 그 주장을 실제로 뒷받침합니다.
인공지능 분석 플랫폼 아티피셜 애널리시스(Artificial Analysis)의 오토메이션벤치-AA(AutomationBench-AA)에서 그록 4.5는 51.4%를 기록하며 1위를 차지했고, 작업당 0.34달러가 소요되었습니다. 이는 클로드 페이블 5(48.6%)와 클로드 오퍼스 4.8(48.5%)보다 더 높은 점수입니다.
일론 머스크의 주장에 대한 독립적 검증
스페이스엑스AI(SpaceXAI)는 그록 4.5를 1.5조 파라미터로 이루어진 V9 기반 위에 개발하여 이번 주에 공개 출시했습니다. 머스크의 설명은 초기 내부 평가에 근거했습니다.
오토메이션벤치-AA는 이 상황을 바꿨습니다. 아티피셜 애널리시스는 벤치마크를 독립적으로 운영하며, 데이터 오염을 막기 위해 작업 세트는 비공개로 유지됩니다.
이 테스트는 Gmail, 슬랙, 세일즈포스, 허브스팟 등 40개 시뮬레이션 앱에서 총 657개의 작업을 포함합니다. 에이전트가 안전장치를 위반하지 않고 달성한 목표 비율을 점수로 환산합니다.
여기를 클릭하여 X에서 저희를 팔로우하고 최신 뉴스를 실시간으로 받아보세요
그록 4.5: 더 저렴하고, 더 빠르며, 대체로 준수함
그록 4.5의 작업당 비용은 0.34달러로, 페이블 5의 1.35달러 및 오퍼스 4.8의 1.46달러에 비해 훨씬 낮았습니다. 가장 근접한 모델은 제미니 3.5 플래시로 0.49달러였습니다.
이 모델은 작업당 약 8,000개의 출력 토큰을 사용했으며, 이는 오퍼스 4.8의 대략 1/4 수준입니다. 이 효율성 덕분에 비용 격차가 발생했으며, 머스크가 출시 당시 설명한 바와 일치합니다.
“작업당 총 토큰 사용량이 44만 개로 리더보드에서 가장 낮은 수준에 속합니다. 낮은 비용은 이 효율성과 더불어 낮은 토큰 단가에서 비롯됩니다.” – 아티피셜 애널리시스(Artificial Analysis) 공식 발표
추가로, 그록 4.5는 작업 목표의 79.9%를 달성했고, 전체 작업의 21.9%를 모두 통과했습니다. 금융 분야(가장 어려운 영역)에서는 71%로 1위를 차지했으며, 이는 페이블 5의 64%, 오퍼스 4.8의 62%에 앞서는 수치입니다.
하지만 이 모델은 가장 가까운 경쟁 모델에 비해 규정을 더 많이 위반했습니다. 작업당 평균 0.63회의 안전장치 위반이 기록되어, 오퍼스 4.8의 0.55회, 제미니 3.5 플래시의 0.46회보다 높았습니다.
이 차이는 실제 금융 시스템에 에이전트를 배치하는 기업에게 중요합니다. 한 번의 위반도 실제 비용을 초래할 수 있기 때문입니다.
유튜브 채널 구독하고 업계 리더 및 기자들의 전문 분석을 시청하세요
