최신 AI 모델들에게 1시간 동안 스타크래프트: 브루드 워 프로토스 봇을 C++로 직접 작성하게 하는 벤치마크 v0.2 결과가 공개되었습니다.
평가 결과 GPT-6 아스트라가 1위, 가성비가 뛰어난 GPT-6.1 솔이 2위를 차지했으며, 제미나이 4 아르곤과 클로드 오퍼스 5.5가 그 뒤를 이었습니다.
강한 상대와 연습 경기를 자주 돌린 모델일수록 높은 점수를 얻었으나, 수작업으로 제작된 인간 최정상 봇을 상대로는 1위 모델도 승률 7%에 불과했습니다.
요약 최신 AI 모델들에게 1시간의 제한 시간을 주고 스타크래프트: 브루드 워의 프로토스 봇을 C++로 직접 코딩하게 한 뒤 성능을 겨루는 '스타스커미시 벤치마크(StarSkirmish Bench) v0.2' 결과가 공개되었습니다. 이번 테스트는 오픈AI, 앤트로픽, 구글, 메타의 주요 최신 플래그십 모델들을 각 개발사의 공식 1st 파티 CLI 개발 환경에서 구동해 진행되었습니다.
규칙은 간단하면서도 까다롭습니다. 각 모델은 자원만 채취하는 기본 스켈레톤 코드와 전투 시뮬레이터(FAP), 맵 분석기(BWEM) 라이브러리를 제공받으며, 1시간 동안 코드를 수정하고 컴파일해 연습 경기를 치르며 봇을 발전시켜야 합니다. 제한 시간이 끝났을 때 폴더에 남아 있는 최종 봇이 경쟁 래더 맵 3종(단장의 능선, 벤젠, 데스티네이션)에서 프로토스 대 프로토스(PvP)로 평가받습니다.
벤치마크 결과, 1위는 가장 높은 승률을 기록한 GPT-6 아스트라(Astra)가 차지했습니다. 그 뒤를 이어 GPT-6.1 솔(Sol)이 2위에 올랐는데, 솔은 1위 모델 대비 API 비용이 10분의 1 수준에 불과해 가성비가 가장 뛰어난 모델로 주목받았습니다. 구글의 제미나이 4 아르곤(Gemini 4 Argon)은 클로드 오퍼스 5.5, 클로드 페이블 5.1과 함께 37~39점대 승률로 동률을 이루며 3위권에 안착했습니다.
분석 결과에 따르면 모델의 최종 승률을 결정짓는 핵심 요인은 '연습 경기 방식'이었습니다. GPT-6 아스트라나 제미나이 4 아르곤처럼 초반부터 상위권 강팀 봇들과 맞붙어 패배 피드백을 빠르게 반영한 모델들이 높은 점수를 기록했습니다. 다만 제미나이 4 아르곤의 경우 5번의 실행 간 편차가 최대 18점에 달해 플래그십 모델 중 실행 간 결과 기복이 가장 큰 편이었습니다. 한편, 기존 인간 개발자들이 수작업으로 정교하게 깎아 만든 스타더스트(Stardust), 퍼플웨이브(PurpleWave) 같은 최정상 봇들을 상대로는 1위인 GPT-6 아스트라도 승률이 7%에 그쳐, 아직 1시간 코딩만으로는 전통적인 베테랑 봇의 벽을 넘기엔 갈 길이 멉니다.