"제발 AI로 버그 리포트 쓰지 마세요" 폭발한 유명 오픈소스 개발자

요약 Flask와 Sentry 개발자로 유명한 아민 로나허(Armin Ronacher)가 오픈소스 프로젝트 Pi를 직접 AI 코딩 에이전트로 개발(도그푸딩)하며 겪은 고충을 솔직하게 털어놓았습니다. 가장 심각한 문제는 깃허브 이슈 트래커에 쏟아지는 이른바 'AI 생성 쓰레기(Slop)' 이슈들입니다. 최근 많은 사용자가 직접 겪은 버그를 있는 그대로 작성하지 않고, LLM에 통째로 넣고 돌린 내용을 이슈로 등록하고 있습니다. 문제는 인간이 5%만 관여하고 95%는 AI가 지어낸 부정확한 헛소리로 가득 차 있다는 점입니다. 자신만만한 어조로 엉뚱한 원인을 짚거나, 가짜 재현 코드와 맞지도 않는 코드 비유를 늘어놓는 탓에 정상적인 이슈 분석을 심각하게 방해합니다. 더 나아가 메인테이너가 AI 에이전트(Pi)에게 버그 수정을 지시할 때도 악영향을 미칩니다. 에이전트는 사용자가 올린 이슈를 의심해야 할 소문이 아니라 확실한 증거로 받아들이기 때문에, 잘못된 진단을 진짜인 줄 알고 엉뚱한 방향으로 깊게 파고들기 때문입니다. 아무리 프롬프트로 "이슈 본문의 분석을 믿지 말라"고 지시해도, 장황하게 부풀려진 가설에 AI가 휘말리는 것을 막기 어렵다고 토로했습니다. 코드 생성 측면에서도 '슬롭이 슬롭을 낳는' 과도한 엔지니어링 문제가 지적되었습니다. 예컨대 비정상적인 세션 로그가 시스템을 다운시킬 때 올바른 해결책은 '비정상 상태가 발생하지 못하도록 글로벌 불변성(Invariant)을 지키는 것'입니다. 하지만 AI 에이전트는 전역 규칙을 무시한 채, 오류를 일으키는 비정상 데이터를 억지로 읽어내는 관대한 리더(reader)를 만들고 폴백과 마이그레이션 로직까지 덕지덕지 붙여 불필요한 복잡도를 기하급수적으로 키운다는 것입니다. 여기에 질 낮은 LLM 기반 이슈와 PR이 쏟아지는 '물량 공세'까지 겹치면서 오픈소스 메인테이너의 피로감이 극에 달하고 있다고 전했습니다. 아민은 버그를 제보할 때 AI로 부풀리지 말고 '내가 실행한 명령, 기대한 결과, 실제 발생한 에러 로그나 스택 트레이스' 같은 사실 기반의 최소 정보만 담백하게 올려달라고 당부했습니다.