코드 덕지덕지 붙이는 AI 잡아낸다… '코드 군더더기' 측정 벤치마크 등장

요약 기존 AI 코딩 벤치마크들은 주로 문제 해결률이나 토큰 비용에만 집중해 왔습니다. 하지만 AI가 불필요하게 긴 코드를 덧붙여 문제를 해결할 경우, 장기적으로는 코드베이스의 유지보수 난이도가 급격히 올라간다는 한계가 있었습니다. 이를 해결하기 위해 AI 모델이 코드를 얼마나 군더더기 없이 간결하게 수정하는지 측정하는 오픈소스 벤치마크 '파시모니(Parsimony)'가 공개되었습니다. 파시모니는 SWE-bench 등 기존 벤치마크에 공개된 패치 데이터를 활용해 구문 분석을 진행합니다. 단순히 줄 수를 세는 방식은 한 줄에 코드를 억지로 욱여넣는 꼼수가 통할 수 있기 때문에, 문장, 호출, 비교, 식별자, 리터럴 같은 '구문 단위(Coding units)'를 직접 계산합니다. 또한 삭제된 구문은 차감하여 '순수 추가된 단위(순 추가 구문 수 = 추가된 단위 - 삭제된 단위)'를 산출해 순위를 매깁니다. 다만 개발자는 코드가 짧다고 무조건 좋은 것은 아니라는 한계점도 명확히 짚었습니다. 구문 수가 적다고 해서 가독성이나 설계가 우수하다고 단정할 수 없으며, 실제로 코드를 더 많이 작성하는 모델일수록 문제 해결률도 높아지는 양의 상관관계(스피어만 상관계수 0.33~0.60)가 나타났기 때문입니다. 파시모니는 테스트 코드나 문서, 자동 생성 파일은 제외하고 순수 파이썬 코드만 분석 대상으로 삼고 있습니다.