핵심 요약
- LLM 기반 에이전트 개발 시 모델에게 확신도나 확률 점수를 물어보고 활용하는 개발자가 많지만 이는 신뢰할 수 없는 수치입니다.
- 진정한 확신도는 축적된 데이터와 실제 결과 검증을 거쳐 계산되어야 하지만, LLM은 단지 그럴듯한 다음 단어를 생성할 뿐입니다.
- 동일한 질문에도 점수가 매번 바뀌고 앞 문맥에 따라 숫자가 좌우되므로 LLM의 자체 평가 점수를 믿어서는 안 됩니다.
요약 AI 에이전트 개발 시 LLM에게 "자신감이 몇 %인가?" 혹은 "확신도 점수를 매겨달라"고 요청해 그 수치를 활용하는 경우가 많지만, 이는 완전히 잘못된 방식이라는 지적이 나왔습니다.
진정한 의미의 확신도(Confidence)는 기상 예보관이 축적된 데이터와 기상 정보를 바탕으로 계산해내는 '70% 강수 확률'처럼, 정보의 양을 반영하고 과거 수많은 예측과 실제 결과를 비교·검증(보정, Calibration)한 통계적 결과물이어야 합니다. 즉, 동일한 정보와 규칙을 적용하면 언제나 같은 수치가 도출되어야 합니다.
그러나 autoregressive(자기회귀) 구조를 가진 LLM은 내부 측정 게이지를 보고 점수를 출력하는 것이 아니라, 그저 대화 흐름상 가장 그럴듯한 다음 토큰(글자)을 생성할 뿐입니다. 따라서 LLM이 내놓는 "0.85"라는 숫자는 실제 증거의 양이나 신뢰도를 나타내는 지표가 아니며, 정확도와 매칭되도록 훈련된 적도 없습니다.
이 때문에 똑같은 질문을 다시 던지면 0.85였다가 0.70으로 바뀌거나, "정말 확실해?"라고 질문 어조만 바꿔도 숫자가 흔들립니다. 심지어 바로 앞에 모델 자신이 "이것은 분명한 정답입니다"라는 문장을 적었다면, 문맥상 자연스러운 다음 단어로 높은 점수를 뱉어낼 뿐입니다. 결국 LLM이 말하는 확신도는 실제 신뢰성이 아니라 텍스트 흐름에 맞춘 흉내에 불과하므로 시스템 판단 근거로 삼아서는 안 된다는 결론입니다.
Sponsored · 광고