"정확도 그대로인데 생각은 39% 덜 함" 구글 Gemma 4 다이어트 시킨 AI 등장

요약 인공지능 스타트업 보틀캡 AI(BottleCap AI)가 구글의 '젬마 4(Gemma-4-26B-A4B-it)' 모델을 기반으로 한 최적화 모델 '씽킹캡(ThinkingCap)'을 공개했습니다. 이 모델은 성능(정확도) 손실을 거의 내지 않으면서 답변 도출에 필요한 사고(Thinking) 토큰 소모량을 최대 69%, 평균 38.9% 줄인 것이 특징입니다. 젬마 4는 총 260억 개의 파라미터 중 토큰당 약 40억 개만 활성화되는 구글의 MoE(Mixture of Experts) 모델로, 이번 씽킹캡은 Qwen과 엔비디아에 이어 구글 모델군에 처음 적용된 사례입니다. 연구진은 vLLM 등 기존 서빙 스택과 동일한 샘플링 설정을 유지하면서 모델의 지식, 추론 능력, 지시 이행 능력 등을 온전히 보존하는 것을 목표로 튜닝을 진행했습니다. 12개 주요 벤치마크 테스트 결과, 롱벤치(LongBench v2)에서 69.1%, AA-LCR에서 59.3%, MMLU-Pro에서 49.1% 등 긴 문맥 처리와 지식 추론 영역에서 사고 토큰이 대폭 절감되었습니다. 동시에 정확도 하락폭은 12개 벤치마크 평균 기준 -0.15%p에 불과해 사실상 오차 범위 내 수준을 유지했습니다. 특히 수학이나 지시 이행 영역에서는 오히려 소폭 성능 향상을 보이기도 했습니다. 또한 AI 추론 모델의 대표적인 문제점인 무한 루프(Looping) 현상도 크게 개선되었습니다. 기존 베이스 모델이 3.64% 빈도로 답변 중 루프에 빠졌던 반면, 씽킹캡 모델은 0.76% 수준으로 급감했습니다. 특히 고난도 수학 벤치마크인 HMMT의 경우 기존 17.0%에 달하던 루프 발생률이 4.5%로 대폭 줄어들어, 실제 서비스 배포 시 레이턴시와 인프라 비용 절감에 상당한 기여를 할 것으로 기대됩니다.