"숫자 하나로 AI 서열 정리하기 어렵네"… 최신 AI 벤치마크에 담긴 딜레마

요약 인공지능 모델 벤치마크 평가 기관인 아티피셜 애널리시스(Artificial Analysis)가 최신 모델들을 평가하는 '인텔리전스 인덱스 v5(AAv5)'를 공개한 가운데, AI 업계와 연구자들 사이에서 벤치마크 평가 방식을 둘러싼 고충과 딜레마가 주목받고 있습니다. AI 성능 점수를 끌어올리는 기술적 튜닝은 막대한 비용이 들더라도 방법 자체는 명확하지만, 진정한 프런티어 AI 모델의 실질적 가치를 측정할 의미 있는 벤치마크를 설계하는 것은 훨씬 어려운 과제로 꼽힙니다. 특히 조 단위의 거대 자본이 움직이는 현재의 AI 시장에서, 독립 평가 기관이 제시하는 단 하나의 집계 점수는 모델의 승패를 가르고 기술의 진화 방향까지 좌우할 만큼 막강한 영향력과 부담을 안고 있습니다. 새롭게 공개된 AAv5는 지식 노동(AA-Briefcase, AutomationBench-AA 등 25%), 코딩(FrontierCode 2.0 등 25%), 과학(Terminal-Bench-Science 등 25%), 일반 영역(AA-Omniscience v1.1 등 25%)으로 구성되어 실제 업무 환경의 반영을 시도했습니다. 이번 순위에서는 상위 8개 자리를 폐쇄형 상용 모델들이 차지했으며, 최고의 오픈소스 지향 모델 후보인 Kimi K3.1 Pro조차 상위 폐쇄형 모델들에게 밀리는 양상을 보였습니다. 특히 과학 평가 분야 등에서 오픈 모델과 프런티어 모델 간의 격차가 두드러졌습니다. 이에 대해 업계 전문가들은 AAv5가 일반 에이전트 협업이나 최첨단 프런티어 역량에 무게를 두면서 오픈 모델과의 성능 격차가 더 벌어져 보이는 착시가 생길 수 있다고 짚었습니다. 오픈 모델의 핵심 경쟁력은 프런티어 최전선에서의 1위 경쟁보다는 추론 단가 절감, 기업 내부 데이터와의 결합 및 인텔리전스 소유권 확보에 있으며, 향후 차세대 모델 출시 주기에서 오픈 진영 역시 추격의 발판을 마련할 것으로 전망됩니다.