32GB 램 노트북에서 80B 모델을 돌린다고? SSD 스트리밍 기반 LLM 구동기 등장

요약 Maurizio "camauri" Cammalleri가 순수 C 언어로 외부 의존성 없이 개발 중인 AI 도구 프로젝트 'Janas(Janas-LLM)'가 공개되어 주목받고 있습니다. 이 도구는 시스템 RAM 용량을 초과하는 대규모 전문가 혼합(MoE) 모델을 일반 컴퓨터에서도 실행할 수 있도록 설계된 것이 핵심입니다. 전체 가중치를 램에 다 올리는 대신 NVMe SSD에 두고 필요한 전문가(expert) 가중치만 O_DIRECT 방식으로 고속 스트리밍하며, 자주 사용되는 전문가만 메모리 캐시에 유지하는 방식으로 작동합니다. 실제 벤치마크 테스트 결과(인텔 코어 울트라 9 185H 내장 Arc 그래픽, 32GB RAM 장착 노트북 기준), 48.4GB 크기의 Qwen3-Next-80B 모델 실행 시 기존 널리 쓰이는 llama.cpp가 초당 2.8토큰의 출력 속도를 낼 때 Janas는 무려 초당 24토큰(초안 없이)에서 최대 37토큰의 생성 속도를 기록했습니다. 프롬프트 읽기 속도 또한 llama.cpp의 16 tok/s 대비 62 tok/s로 4배 가까이 빨랐으며, 비교군으로 측정된 13개 모델 전반에서 llama.cpp보다 우수한 성능을 나타냈습니다. 다만 개발자는 이 프로젝트가 완성된 상용 제품이 아니라 극초기 실험 단계임을 명시하고 있습니다. 시스템 여유 메모리를 캐시로 최대한 채우고 디스크를 최대 속도로 긁어오기 때문에 메모리 여유가 부족할 경우 데스크톱 전체가 스왑으로 밀려나 버벅거리거나 불안정해질 수 있으며, GPU 드라이버 리셋 현상이 발생한 적도 있다고 밝혔습니다. 이를 대비해 메모리 사용량을 강제로 제한하는 `--cache <GiB>` 옵션이나 GPU 사용을 끄는 환경변수 등을 제공하고 있으며, 리눅스와 윈도우 11 환경에서 테스트할 수 있는 바이너리를 배포하고 있습니다.