AI가 물리 문제 못 푼다더니… 알고 보니 시험 문제랑 정답이 틀렸던 거임

요약 최신 프론티어 AI 모델들이 물리학 문제를 잘 풀지 못한다는 기존 벤치마크 결과는 실제 모델의 능력이 부족해서가 아니라 채점 방식과 시험 문제 자체에 오류가 많았기 때문이라는 연구 결과가 발표되었습니다. 연구진은 인공지능 분석 지표 등에 보고된 낮은 점수가 물리학 전문가들이 현장에서 체감하는 AI의 성능과 괴리가 있다는 점에 주목했습니다. 이에 교수진과 대학원생 등 해당 분야 전문가들과 함께 대표적인 물리학 벤치마크 6종을 전면 재검토했습니다. 연구팀은 검증 가능한 최종 답안이 있는 텍스트 기반 물리 문제들을 대상으로 문제 지문, 모범 답안(레퍼런스 솔루션), 그리고 모델의 풀이 과정을 정밀 감사했습니다. 그 결과 초기에 '오답'으로 처리되었던 대다수 사례는 AI의 물리적 추론 결함 때문이 아니라 채점기 오류, 잘못된 모범 답안, 모호하거나 조건이 불완전한 문제 때문인 것으로 밝혀졌습니다. 전문가들이 잘못된 모범 답안을 바로잡고 오류가 있는 문제를 수정하거나 제외한 뒤 다시 평가하자 모델들의 점수가 급등했습니다. 대표적으로 GPT-5.6-Sol 모델의 경우 HLE-Physics 벤치마크 점수(mean@4)가 기존 47.3%에서 78.7%로 상승했고, CMT-Benchmark에서는 61.0%에서 87.2%로 올랐습니다. 또한 54개의 문제를 검증해 남긴 CritPt 챌린지에서는 pass@4 기준 94.4%에 달해 정답률이 포화 상태에 근접했습니다. UGPhysics, PRISM-Physics, PHYBench 등 다른 평가 세트에서도 점수가 대폭 상승했습니다. 연구진은 현재의 벤치마크들이 명확하게 정의된 물리 문제를 해결하는 프론티어 모델의 능력을 크게 과소평가하고 있다며, 폐쇄형 문제에서 성능이 한계에 도달한 만큼 전문가의 철저한 검증을 거친 더 고난도의 새로운 평가 방식이 필요하다고 결론지었습니다.