"단돈 6만 원이면 나만의 GPT를 만든다" 카파시의 nanochat 공개

요약 전 테슬라 AI 디렉터이자 유명 AI 연구자인 안드레이 카파시(Andrej Karpathy)가 100달러 미만의 비용으로 직접 챗봇 LLM을 처음부터 학습시키고 대화할 수 있는 오픈소스 프로젝트 'nanochat'을 공개했습니다. nanochat은 단일 GPU 노드에서 구동되도록 설계된 초경량 LLM 실험 프레임워크로, 토큰화(tokenization)부터 사전학습(pretraining), 파인튜닝, 평가, 추론에 이르는 대형 언어 모델의 전 과정을 미니멀하고 수정하기 쉬운 코드로 다룹니다. 복잡한 설정 없이 트랜스포머 레이어 수(--depth) 하나만 조절하면 모델 너비, 헤드 수, 학습률 등 나머지 하이퍼파라미터가 최적값으로 자동 계산되도록 구성되어 있습니다. 가장 눈길을 끄는 점은 비약적인 비용 절감입니다. 2019년 오픈AI가 발표했던 오리지널 GPT-2는 당시 학습 비용만 약 43,000달러(약 6,000만 원)에 168시간이 소요되었으나, nanochat을 사용하면 8×H100 GPU 노드에서 1.5~2시간 만에 학습이 끝나며 비용은 단 48달러(스팟 인스턴스 기준 약 15달러) 수준으로 떨어집니다. 7년 만에 컴퓨팅 스택과 최적화 기법이 발전하면서 100달러도 안 되는 돈으로 개인이 GPT-2급 모델을 직접 뽑아낼 수 있게 된 셈입니다. 프로젝트는 커뮤니티 기여를 독려하기 위해 GPT-2급 성능(CORE 메트릭 기준)에 도달하는 벽시계 시간을 겨루는 'GPT-2 스피드런' 리더보드도 함께 운영하고 있습니다. 학습이 끝나면 CLI 환경에서 곧바로 모델과 대화를 나눌 수 있으며, 카파시는 4e19 FLOPs 수준의 모델이라 '유치원생과 대화하는 느낌'이지만 환각 현상을 관찰하거나 시를 쓰게 하는 등 LLM의 작동 원리를 직접 체감하기에 가장 최적의 실습 도구라고 설명했습니다.