"필드명 하나 바꿨더니 버그 해결?" 25년 차 개발자가 털어놓은 AI 에이전트 개발의 현실

요약 25년 차 베테랑 엔지니어 Dan이 실제 사용자를 위한 AI 에이전트 서비스를 상용화하면서 겪은 생생한 고충과 회의감을 털어놓았습니다. 그는 단순히 주관적인 대화를 나누는 챗봇과 달리, 사용자를 대신해 실제 작업을 수행하는 에이전트를 프로덕션 레벨에서 안정적으로 굴리는 일은 엄청난 난이도를 요구한다고 말합니다. 특히 그가 가장 황당하게 지적한 부분은 LLM의 예측 불가능성입니다. 아무리 스마트한 최신 모델이라도 '제목을 80자 이내로 반환하라'는 지극히 단순한 규칙조차 완벽히 지키지 못하고, 어느 순간 JSON 관련 헛소리를 장문으로 쏟아내며 폭발해 버리는 에러를 낸다는 것입니다. 그런데 이 문제를 해결한 방법은 필드명을 'title'에서 'heading'으로 바꾸는 어처구니없는 조치였고, 이런 미친 짓 같은 땜질이 당장 먹히는 것이 현재 AI 개발의 기괴한 현실이라고 꼬집었습니다. 또한 그는 기업들이 흔히 시도하는 '프롬프트 만능주의'를 강하게 비판했습니다. 예를 들어 브랜드 어조나 특정 도메인 지식을 반영하려고 담당 부서에서 작성한 새 프롬프트를 에이전트에 집어넣는 순간, 모델은 기존에 테스트받던 맥락과는 전혀 다른 차원으로 튕겨져 나간다는 설명입니다. 기존 수많은 지시문들과 새 프롬프트가 엉키면서 예측하지 못한 방식으로 망가지기 때문에, 결국 고립된 단위로서의 '프롬프트'는 실제 환경에선 존재하지 않는 허상에 가깝다고 역설합니다.