토큰 낭비 없이 객관식 딱 한 번에 찍는 초간단 LLM 의사결정 모델 만들기

요약 LLM에게 특정 형식의 결과물(JSON 등)을 뽑아내려면 보통 토큰을 하나씩 생성하며 여러 번의 추론 패스(pass)를 거쳐야 합니다. 하지만 객관식 선지처럼 선택지가 고정되어 있다면 단 한 번의 추론(Single pass)만으로 가장 확률이 높은 선택지를 뽑아내는 '의사결정 모델(Decision Model)'을 구축할 수 있습니다. 작성자는 17억 파라미터 크기의 Qwen(Qwen3-1.7B) 모델을 이용해 A부터 E까지의 선지 토큰만 마스킹하여 확률을 계산하는 파이썬 코드를 구현했습니다. "하늘의 색은 무엇인가?"라는 질문에 모델은 약 99.88% 확률로 정답(B. 파란색)을 단 한 번의 패스로 맞혔고, 상식 벤치마크(CommonsenseQA) 테스트에서도 약 59.4%의 준수한 정확도를 보였습니다. 간단한 파인튜닝을 거치자 정확도는 62.4%까지 소폭 상승했습니다. 하지만 치명적인 한계도 드러났습니다. "박쥐(bat)를 볼 수 있는 곳은?"처럼 동음이의어(야구 배트 vs 박쥐)나 여러 해석이 가능한 모호한 질문에서도 모델은 특정 보기에 99.78%라는 극단적인 확신을 보였습니다. 실제로 모델이 확신도 90~100% 구간으로 예측한 문제 중 실제 정답률은 약 70%에 불과해, 모델이 과도하게 자신의 예측을 맹신하는 '보정(Calibration) 실패' 문제가 확인되었습니다. 글쓴이는 이를 보완하기 위해 온도를 조정하는 온도 스케일링(Temperature scaling) 기법 등을 적용해 확률 분포를 실제 정확도에 가깝게 맞추는 과정을 소개했습니다.