얀 르쿤의 일침? "다음 토큰 예측 방식은 비효율의 극치... 109M 모델로 72B LLM 넘었다"

요약 인공지능 분야의 석학 얀 르쿤(Yann LeCun)과 랜달 발레스트리에로(Randall Balestriero)가 '플라톤 표현 가설(Platonic Representation Hypothesis)'을 수학적 정리로 증명했다는 논문을 발표해 화제입니다. 플라톤 표현 가설은 서로 다른 양식(이미지, 텍스트 등)으로 학습된 AI 모델이라도 규모(스케일)가 커지면 결국 세상에 대한 동일한 표현(표상)으로 수렴한다는 가설입니다. 저자들은 이번 연구를 통해 이를 '플라톤 표현 정리'로 구체화했습니다. 즉, 하나의 장면을 서로 다르게 관찰한 '좋은 뷰(good views)'를 양성 쌍으로 삼아 JEPA(통합 임베딩 예측 아키텍처) 방식으로 학습하면, 모달리티가 달라도 회전 변환 하나 수준의 차이만 남기고 동일한 표상을 학습한다는 점을 증명한 것입니다. 반면 현재 대규모 언어 모델(LLM)이 사용하는 '다음 토큰 예측(next-token prediction)' 방식은 단일 문서의 일부만을 보는 '나쁜 뷰(bad views)' 방식에 해당하여, 시각 모델과 정렬되기 위해 막대한 규모에만 의존해야 한다는 비효율성을 지적했습니다. 실험 결과, JEPA 방식의 '좋은 뷰'를 사용하면 동일한 정렬도에 도달하는 데 다음 토큰 예측 대비 42배나 적은 학습 샘플만으로 충분한 것으로 나타났습니다. 실제로 단 1억 9백만 파라미터(109M) 크기의 텍스트 JEPA 모델이 최대 72B 규모의 거대 언어 모델들이나 CLIP 텍스트 인코더보다 DINOv2 및 CLIP 이미지 인코더와 훨씬 뛰어난 정렬 성능을 보였습니다. 결과적으로 저자들은 단순히 모델 덩치(스케일)를 무작정 키우는 것보다, 적절한 '양성 뷰'를 구성해 학습시키는 것이 플라톤적 표현에 도달하는 훨씬 효율적인 핵심 열쇠라고 결론지었습니다.