"LLM 막 쓰지 마라"… AI 비용 1/3로 깎는 '의사결정 모델' 아키텍처 화제

요약 최근 실리콘밸리와 해외 테크 커뮤니티에서는 고가의 대규모 언어 모델(LLM)을 무작정 호출하는 대신, 선택지 확률이나 점수만을 전문적으로 판별해 비용을 대폭 낮추는 '의사결정 모델(Decision Model)'인 Jev가 큰 주목을 받고 있습니다. 아담 스미스가 국부론에서 '직접 만드는 비용이 사서 쓰는 비용보다 크다면 직접 만들지 않는다'고 한 것처럼, AI 시스템 아키텍처에서도 비용 대비 효용을 따지는 경제학적 접근이 화두로 떠오른 것입니다. 글쓴이는 이러한 의사결정 모델의 가장 큰 장점으로 출력 토큰이 명확하게 규정되어 사실상 비용이 거의 들지 않는다는 점을 꼽았습니다. 예를 들어 사용자의 리뷰에서 만족도 수준을 분류할 때, 일반적인 LLM(가령 GPT-5 nano 등)을 사용하면 40만 건 처리 시 약 13달러가 소요되지만, Jev를 사용하면 4.2달러 수준으로 비용이 급감합니다. 여기에 답변마다 확률과 신뢰도가 함께 도출되어 추가적인 연산이나 분기가 가능하며 처리 속도 또한 매우 빠릅니다. 이를 바탕으로 글쓴이는 전통 컴퓨터 아키텍처의 메모리 계층 구조(캐시-RAM-디스크-테이프)에 빗댄 '의사결정 계층 구조(Decision Hierarchy)'를 제안합니다. 가장 상단에는 규칙이나 캐시가 위치하고, 그 아래 빠른 판단을 담당하는 의사결정 모델(RAM 역할), 그 아래 복잡한 추론을 담당하는 일반 LLM(디스크 역할), 그리고 최후의 보루로 인간 작업자(자기 테이프 역할)를 배치하는 방식입니다. 모델의 신뢰도가 낮아 모호한 판단은 상위 지능인 LLM과 사람에게 순차적으로 넘김으로써 정확도와 비용 효율을 모두 챙길 수 있다는 분석입니다.