방구석 GPU 한 대로 2시간 만에 구워 만든 30ms 초소형 AI 모델 등장

요약 개인 개발자가 집에서 GPU 한 대로 학습시켜 30밀리초(ms) 만에 옵션을 골라내는 초소형 경량화 AI 모델 'Jeff'를 공개해 화제를 모으고 있습니다. Qwen3.5 및 Gemma 4 기반으로 미세조정된 이 모델은 파라미터 크기가 0.8B에서 2B 수준에 불과한 소형 의사결정(System 1) 특화 모델입니다. 문장을 생성하고 파싱하는 일반 챗봇형 LLM과 달리, 텍스트로 상황과 선택지를 주면 단 한 번의 포워드 패스로 각 선택지의 보정된 확률값을 즉시 반환하는 것이 특징입니다. 텍스트 파싱 과정이 없어 엔비디아 RTX PRO 6000 기준 약 22ms, 애플 M4 맥스(MLX) 기준 약 28ms 만에 결과를 내놓습니다. 특히 클라우드 GPU나 폐쇄형 상용 모델(클로즈드 소스 모델)의 데이터를 학습에 쓰지 않고, 순수 로컬 워크스테이션 환경과 오픈 모델로 생성한 합성 데이터만을 사용해 0.8B 모델 기준 약 2시간 만에 학습을 끝냈습니다. 벤치마크 테스트에서도 0.8B의 작은 덩치로 거대 모델인 Jev에 근접하거나 금융 감성 분석(Financial PhraseBank) 및 RAG 진위 판별(RAGTruth) 같은 특정 분류 작업에서는 오히려 대형 모델을 앞서는 결과를 보여주었습니다. 또한 둠(Doom), 프로거(Frogger), 팩맨(Pac-Man) 같은 클래식 게임의 텍스트 상황 묘사만 보고 즉각 다음 행동을 고르는 제로샷 플레이 테스트까지 시연해 개발자 커뮤니티의 큰 관심을 받고 있습니다.