기타 Hacker News · 4시간 전

학습 없이 스스로 가중치 고쳐서 똑똑해지는 AI 논문 등장

핵심 요약
  • Jiajun Fan 등 연구진이 언어 모델이 추가 학습이나 그래디언트 없이 스스로의 추론만으로 자신의 가중치를 수정해 성능을 개선하는 '자기 재작성(self-rewriting)' 기법을 발표했습니다.
  • 27B 규모의 오픈 모델이 자신의 가중치와 채점 결과, 실행 환경을 바탕으로 실패 원인을 진단해 수정한 결과, 처음 보는 문제에서 정확도가 6.6포인트 상승하고 8회 연속 세션 동안 꾸준히 성능이 향상됐습니다.
  • 손상된 복제본을 원본 가중치 열람 없이 미학습 이미지 작업 기준 원래 정확도의 80% 이상으로 복구했으며, 이러한 능력은 모델 규모가 커질수록 나타나는 것으로 확인됐습니다.
요약 기존의 언어 모델은 한 번 학습이 끝나면 가중치가 고정되기 때문에, 성능을 더 높이려면 막대한 비용이 드는 재학습을 하거나 프롬프트 엔지니어링, 혹은 추론 단계에서 일회성으로 추가 연산을 투입하는 방식에 의존해야 했습니다. 하지만 Jiajun Fan 등 11명의 연구진이 2026년 11월 arXiv에 공개한 논문에서는 그래디언트나 추가 학습 없이 모델이 스스로의 추론만으로 자신의 가중치를 직접 고쳐 성능을 높이는 '자기 재작성(self-rewriting)' 기법을 제시했습니다. 과거 연구에서는 거대 모델이 훨씬 작은 모델의 가중치를 수정하는 수준에 그쳤으나, 이번 연구에서는 27B 규모의 오픈 모델이 직접 자신의 최적화 도구 역할을 수행했습니다. 모델은 자신의 가중치와 채점된 답변, 그리고 스스로를 실행할 수 있는 환경을 바탕으로 실패 원인을 진단하고 그 이면의 가중치를 수정했습니다. 연습 문제로 수정 결과를 테스트해 효과가 입증된 것만 반영하는 방식을 거친 결과, 처음 보는 문제에서 정확도가 6.6포인트 상승했으며 8번의 연속 세션 동안 정확도가 꾸준히 우상향하는 모습을 보였습니다. 스스로를 수리하는 능력도 확인됐습니다. 문제를 거의 풀지 못하는 상태로 손상된 자신의 복제본을 대상으로, 재학습이나 원본 가중치 열람 없이도 처음 보는 이미지 작업에서 원래 정확도의 80% 이상 수준으로 복구해 냈습니다. 이러한 능력은 모델 규모가 커질수록 나타났는데, 같은 모델 패밀리 내에서도 작은 모델들은 수정을 하지 못하거나 오히려 스스로를 망가뜨린 반면 가장 큰 모델만 개선과 복구에 성공했습니다. 연구진은 학습과 추론 사이의 벽이 지능의 본질이 아니라 도구의 한계일 뿐이라며, 자기 재작성이 모델이 평생 스스로를 업그레이드하는 재귀적 자기 개선으로 나아가는 필수 단계라고 설명했습니다.
Sponsored · 광고