노트북 8GB 그래픽카드로 혼자 계속 공부하는 미니 AGI 모델 등장

요약 일반적인 대규모 언어 모델(LLM)은 빅테크 기업들이 거대한 데이터센터에서 막대한 비용을 들여 사전 학습을 마친 뒤 모델 가중치를 동결(freeze)한 상태로 배포됩니다. 사용자는 겉에 얇은 레이어를 덧씌우는 파인튜닝만 할 수 있을 뿐, 개인 하드웨어에서 처음부터 학습시키거나 일상 데이터를 주입하며 계속 훈련시킬 수 없습니다. 무리하게 추가 학습을 시도하면 기존 지식을 몽땅 잊어버리는 치명적 망각(Catastrophic Forgetting) 문제가 발생하기 때문입니다. 이를 해결하기 위해 개발자 'volotat'가 8GB VRAM을 장착한 일반 소비자용 노트북 GPU 한 대에서도 단일 데이터 스트림을 통해 바이트 단위로 지식을 끊임없이 누적 학습할 수 있는 오픈소스 프로젝트 'mini-AGI'를 공개했습니다. 이 모델은 사전 학습된 베이스나 별도의 파인튜닝 단계가 없으며, 텍스트를 읽는 과정과 그래디언트를 업데이트하는 학습 과정이 동일한 코드 경로에서 실시간으로 일어납니다. 작동 구조와 최적화 방식도 독특합니다. 8GB VRAM이라는 제약을 극복하기 위해 가중치를 일반 디스크 파일 형태로 보관하고 필요한 워킹 세트만 메모리로 페이징하여 파라미터 용량이 VRAM이 아닌 잔여 디스크 용량의 영향을 받도록 설계했습니다. 또한 별도의 토크나이저 없이 256개 바이트 값 자체를 알파벳으로 사용하여 모든 종류의 데이터를 읽을 수 있게 했습니다. 아키텍처는 고정된 레이어 대신 최대 24회 반복 적용되는 순환 블록 구조를 취하며, PonderNet 방식의 적응형 깊이(Adaptive depth)를 적용해 쉬운 글자는 적은 연산만 거치고 어려운 글자는 깊은 연산을 거치도록 했습니다. 개발자는 현재 이 프로젝트가 프론티어급 성능을 목표로 하는 모델이 아니라, 겸손한 사양의 개인 하드웨어에서도 치명적 망각 없이 지속 학습이 가능하다는 점을 입증하기 위한 '토이 레벨' 실험이라고 밝혔습니다. 첫 번째 코퍼스를 읽으며 학습을 진행 중이며, 데이터 완독이 끝나는 수 주 뒤에 모델 가중치가 공개될 예정입니다.