AI 모델들한테 팩맨 시켜봤더니 나온 처참한(?) 생존 시간

요약 인공지능(AI) 의사결정 모델들이 고전 아케이드 게임 팩맨을 플레이하면 과연 어떤 성적을 낼까? Opper AI에서 AI 모델들의 의사결정 능력을 평가할 수 있는 오픈소스 벤치마크 프로젝트 '제브맨(jevman)'을 공개했습니다. 이번 벤치마크 테스트에서는 6개의 주요 AI 모델이 원작 클래식 유령들을 상대로 각각 100판씩 경기를 치렀습니다. 게임 진행 방식은 팩맨이 갈림길에 도달할 때마다 현재 미로의 상태와 펠릿, 유령의 위치 정보를 JSON 형태로 모델에 전송하고, 모델이 각 이동 방향에 대한 확률을 반환하면 그에 맞춰 이동하는 구조입니다. 특히 실시간성 평가를 위해 응답 제한 시간은 2초로 설정되었으며, 2초를 초과할 경우 백업 룰이 대신 작동하여 감점 요소로 기록됩니다. 각 판은 목숨 3개를 모두 잃거나 최대 제한 시간인 5분에 도달할 때까지 진행되었는데, 실제 경기에서는 어떤 모델도 5분을 채우지 못했고 최장 생존 기록 역시 2분 24초에 그쳤습니다. 리더보드 순위는 95% 신뢰수준(±2 표준오차)의 평균 점수를 기준으로 산정되어 오차 범위 내의 모델들은 공동 순위로 처리됩니다. 모든 경기 과정은 정확히 리플레이로 기록되어 조작 여부를 검증할 수 있으며, HTTP 엔드포인트만 갖추면 누구나 자신만의 커스텀 AI 모델이나 파인튜닝 모델을 연결해 벤치마크에 참여할 수 있도록 깃허브 오픈소스로 공개되었습니다.