절대 포기하지 않는 강화학습(NGU)으로 LLM 난제 풀기

요약 인공지능 연구자 마이클 누코비치(Michael Noukhovitch)의 블로그 글에 따르면, 거대언어모델(LLM)에 강화학습(RL)을 적용할 때 발생하는 '마태 효과(Matthew Effect)' 현상과 그 원인이 분석되었습니다. 마태 효과란 사회과학과 경제학에서 흔히 말하는 '빈익빈 부익부' 현상처럼, 모델이 이미 잘 풀던 쉬운 문제는 더욱 잘 풀게 되지만 초기에 전혀 풀지 못했던 고난도 문제는 강화학습을 거쳐도 거의 개선되지 않는 편향을 의미합니다. 연구진이 Olmo 3.1 RL-Zero Math 학습 과정에서 AIME 2025 평가 지표를 분석한 결과, 전체 평균 점수는 지속적으로 상승하는 것처럼 보였습니다. 그러나 30개 문항을 초기 정답률에 따라 난이도별(상·중·하)로 나누어 살펴보자 놀라운 사실이 드러났습니다. 성능 향상의 대부분은 이미 어느 정도 풀리던 쉬운 문제들의 정답률이 극대화되면서 발생한 것이었으며, 초기 pass@32가 0이었던 초고난도 문제들은 학습이 끝나도 여전히 pass@32가 0에 머물러 있었습니다. 이러한 현상은 수학뿐만 아니라 Deepcoder(코드)와 DeepSWE(소프트웨어 에이전트) 등 다른 벤치마크에서도 동일하게 관찰되었습니다. 이에 대해 흔히 GRPO 등의 기법에서 샘플링 수($k$)가 부족해 정답 신호를 얻지 못하는 문제(신호 손실)로 생각하기 쉽지만, 연구진이 Qwen 2.5 0.5B 모델로 실험한 결과는 예상과 달랐습니다. $k=32$로 크게 샘플링하는 것보다 오히려 $k=4$로 작게 샘플링하는 설정이 고난도 문제를 해결하는 데 훨씬 효과적인 것으로 나타났습니다. 이유는 학습 배치 구성 방식에 있었습니다. 모든 생성이 전부 맞거나 틀린 문제를 제외하고 일부만 맞은 문제를 학습에 포함하는 구조상, $k$가 커지면 고난도 문제의 희귀한 정답을 건질 확률도 올라가지만 반대로 쉬운 문제에서 어쩌다 한 번 틀리는 드문 오답까지 배치에 대거 포함되게 됩니다. 이로 인해 학습 200단계를 기점으로 $k=4$가 $k=32$를 역전하게 되며, 쉬운 문제의 예외적 오답 처리에 연산량(컴퓨팅)을 낭비하지 않는 것이 고난도 문제 해결에 더 유리하다는 점이 밝혀졌습니다.