단 8MB 크기로 초소형 기기에서 돌아가는 초경량 AI 모델 등장

요약 초소형 기기에서 완전히 오프라인으로 구동할 수 있도록 설계된 초경량 파운데이션 모델 'Needle 3'가 공개되었습니다. 이 모델은 단 하나의 가중치 세트 안에서 2계층부터 20계층까지 깊이에 따라 점진적으로 용량이 늘어나는 서브네트워크를 제공하는 '지능 사다리(intelligence laddering)' 구조를 채택한 것이 특징입니다. CQ2 양자화를 통해 생성되는 바이너리 파일 크기는 단 8MB에서 29MB 수준에 불과합니다. 개발사 측의 설명에 따르면, 다운스트림 작업에 맞춰 단 1에포크만 미세 조정해도 4계층 서브네트워크가 클라우드 기반의 DeepSeek V4 Flash에 필적하는 성능을 낼 수 있다고 합니다. 특히 라즈베리 파이 5(Raspberry Pi 5) 환경에서도 디코드 속도 400~4k 토큰/초, 프리필 속도 1k~10k 토큰/초에 달하는 빠른 속도를 보여줍니다. 스마트홈, 소형 청소 로봇, 스마트폰, 웨어러블 워치, AR 안경, 차량 내 제어 시스템 등 외부 인터넷이나 중앙 허브와 통신할 필요 없이 온디바이스에서 즉각적인 툴 호출 및 정형 데이터 추출을 실행해야 하는 환경을 주 타깃으로 하고 있습니다.