돈은 4배 더 쓰는데 코딩은 더 못한다? 최신 AI 벤치마크 대반전

요약 개발자 커뮤니티에서 실제 소프트웨어 개발 환경을 모방한 벤치마크 '슬롭코드벤치(SlopCodeBench, SCB)'의 최신 테스트 결과가 공개되어 큰 화제를 모으고 있습니다. 슬롭코드벤치는 코딩 에이전트에 초기 요구사항을 준 뒤, 개발이 진행됨에 따라 새로운 요구사항을 덧붙여 기존 코드를 수정하게 만드는 방식으로 진행됩니다. 이후 체크포인트마다 신규 기능뿐 아니라 과거 기능이 망가지지 않았는지 회귀 테스트(Regression test)까지 통과해야 하는 까다로운 구조를 띱니다. 이번 테스트는 36개 문제, 총 196개의 체크포인트를 바탕으로 최신 프론티어 AI 모델들을 일괄 평가했습니다. 모든 테스트와 회귀 테스트를 전부 통과해야 인정되는 엄격 통과율(Strict pass rate) 기준으로 1위를 차지한 것은 GPT-6 아스트라(Astra, XHigh 설정)로 16.33%(32/196개 통과)를 기록했습니다. 하지만 그 뒤를 이어 GPT-6 SOL 미디엄(15.31%), GPT-6.1 SOL 미디엄(14.80%), 오퍼스 5.5 미디엄(14.29%) 등이 근소한 차이로 뒤를 이었습니다. 가장 흥미로운 발견은 AI의 추론 노력 수준을 극도로 높이는 'XHigh' 설정이 비용만 급증시킬 뿐 코딩 성능 개선으로 이어지지 않거나 오히려 결과를 떨어뜨렸다는 점입니다. 실제로 오퍼스 5.5(Opus 5.5)의 경우 미디엄 설정에서는 28개의 체크포인트를 엄격 통과했으나, 비용이 4.22배나 비싼 XHigh 설정에서는 통과 개수가 25개로 오히려 줄어들었습니다. GPT-6 SOL 역시 미디엄(30개)이 XHigh(26개)보다 더 높은 통과율을 보였습니다. 비용 측면에서도 모델별 편차가 극심하게 나타났습니다. GPT-6.1 SOL 미디엄은 29개 체크포인트를 통과하면서 추정 비용이 178.51달러에 불과했던 반면, 26개를 통과한 페이블 5.1(Fable 5.1 XHigh)은 무려 1,550.07달러가 들어 약 8.68배에 달하는 비용을 소모했습니다. 결국 비싼 추론 모드가 무조건 더 나은 코드를 보장하지 않는다는 사실이 입증되면서, AI 코딩 시장의 '가성비' 및 '과잉 추론'에 대한 열띤 토론이 이어지고 있습니다.