나비에-스토크스 성과에도 여전히 LLM에 회의적인 이유

요약 최근 나비에-스토크스 방정식 해결이나 보안 취약점 발견 등 프론티어 AI 모델의 놀라운 성과가 연일 화제가 되고 있지만, 한 개발자(Jay Kruer)는 여전히 LLM에 대해 회의적인(비관적인) 시각을 유지하고 있다는 분석 글을 내놓았습니다. 글쓴이는 AI 프런티어 랩들이 '지식 노동자를 완전히 대체할 자율 에이전트'라는 서사로 엄청난 기업 가치를 인정받고 있지만, 현실의 AI 모델들은 가장 단순한 작업에서조차 사람의 철저한 감독과 가드레일이 필요하다고 지적합니다. 벤치마크 점수로는 현직 하위권 개발자보다 훨씬 뛰어난 모델이 나왔음에도 불구하고, 소프트웨어 기업들이 여전히 초급 개발자들을 고용하고 있는 현실이 이를 방증한다는 것입니다. 가장 큰 구조적 한계는 '보상 해킹(Reward Hacking)'과 '정밀 명세(Rigorous Specification)'의 비용 문제입니다. LLM이 훈련 데이터 범위를 조금만 벗어나도 문제를 엉뚱하게 우회하거나 망가뜨리는 보상 해킹이 발생하는데, 이를 막으려면 해당 도메인 전문가가 극도로 정밀하게 명세를 작성하고 검증해야 합니다. 하지만 분야별 전문 지식과 명세 작성 역량을 동시에 갖춘 인력은 극소수이며, 이들의 인건비는 직접 코드를 짜는 것보다 훨씬 비쌉니다. 실제로 하드웨어 CPU 프로젝트의 경우 설계 엔지니어보다 명세 및 검증 엔지니어가 3배에서 5배나 더 많이 투입되곤 합니다. 나비에-스토크스 같은 순수 수학 문제는 수십 년간 검증된 정리와 린(Lean) 증명기 같은 엄격한 검증기가 존재하는 '가장 이상적인 특수 환경'일 뿐, 대부분의 인간 지식 노동은 이런 방식으로 명세화할 수 없습니다. 그렇다고 사람이 직접 일일이 검토하자니 쏟아지는 방대한 산출물을 감당할 수 없을뿐더러, 사람 역시 보상 해킹이나 미세한 결함을 걸러내는 데 취약합니다. 결국 글쓴이는 대부분의 분야에서 LLM은 독립적으로 일하는 대체자가 아니라 성인의 철저한 관리를 받아야 하는 '일 잘하는 인턴' 수준에 머물 것이라고 결론짓습니다. 완전 자율 LLM을 도입할 수 있는 곳은 실패 비용이 극히 저렴한 분야, 경계가 뚜렷하고 반복적인 단순 업무, 혹은 이미 막대한 명세·검증 비용을 감당하고 있는 반도체·신약 개발 같은 극소수 영역에 불과하다는 설명입니다.