27B 모델 5개 모아 협업시켰더니 대형 AI 이겨버린 코딩 실험 결과

요약 오픈소스 AI 워크플로우 도구 Memdoor를 활용해 비교적 작은 오픈소스 모델인 Qwen3.8-27B 5개로 구성된 멀티에이전트 시스템을 구축한 뒤, 고난도 코딩 벤치마크인 LiveCodeBench Hard 10개 문제에 대해 테스트를 진행한 결과가 공개되었습니다. 기획자(planner), 아이디어 제시자 2명(ideators), 해결자(solver), 관리자(manager) 등 5가지 역할과 코드 수정을 담당하는 작업자(repair worker)가 각각 독립된 컨텍스트에서 실행되며, 모델끼리 직접 대화하는 대신 디스크에 저장된 파일을 통해서만 소통하도록 설계되었습니다. 또한 정답 판정은 모델의 자체 판단이 아닌 셸 스크립트를 통한 샘플 테스트 실행 결과로 결정됩니다. 이 시스템을 이용해 각 문제당 5회씩 총 50회의 테스트를 진행한 결과, 평균 10점 만점에 9.8점을 기록했습니다. 이는 기존 원저자 하네스의 9.6점은 물론, 단일 모델인 Fable 5가 기록한 8.0점을 상회하는 수치입니다. 총 50회의 시도 중 49회를 해결했으며, 전체 비용은 35.79달러(약 1,530만 개 출력 토큰 소모), 시간 초과나 중단된 시도를 포함해도 38.77달러 수준에 불과했습니다. 실행당 소요 시간의 중앙값은 약 40분이었으며, 1회당 약 0.39달러의 비용이 들었습니다. 다만 벤치마크 대상인 코딩 문제들이 2025년 3월 말~4월 초에 출제된 문제들이라 모델 학습 데이터에 포함되었을 오염 가능성은 배제할 수 없다는 한계도 언급되었습니다. 또한 관리자 모델이 잘못된 반례를 제시해 이미 맞춘 코드를 덮어쓰거나, 관리자가 완료 신호를 제때 주지 않아 추가 라운드가 진행되며 3~4달러대까지 비용이 치솟는 비효율성 문제도 발견되었습니다. 그럼에도 거대 독점 모델 대신 27B급 오픈소스 모델들을 파일 기반 멀티에이전트로 협업시켜 복잡한 코딩 문제를 해결해냈다는 점에서 개발자들의 관심을 끌고 있습니다.