고작 16MB짜리 용량으로 온디바이스 음성 인식 끝낸다는 신규 모델 등장

요약 인공지능 개발사 칵투스(Cactus)가 CPU 환경에서 별도의 외부 라이브러리 없이 독립적으로 구동되는 초경량 음성 인식(STT) 오픈소스 모델 '휘슬(Whistle)'을 공개했습니다. 휘슬의 전체 파일 크기는 단 16.9MB에 불과하지만, 스마트폰, 웨어러블 기기, 로봇, 스마트홈, 차량, 심지어 마이크로컨트롤러까지 온디바이스로 설치되어 동작하도록 설계되었습니다. 외부 서버로 음성 데이터를 전송하지 않고 기기 자체에서 모든 처리가 이뤄지며, 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 네덜란드어, 폴란드어 등 7개 언어를 지원하고 언어를 지정하지 않아도 자동으로 감지합니다. 또한 16kHz 모노 오디오 기준 한 번에 최대 30초 분량을 처리할 수 있으며, 디코더의 어텐션 메커니즘을 통해 단어별 타임스탬프와 확률까지 정확히 추출해냅니다. 기술적으로는 자사의 LLM 엔진인 '니들(Needle)'과 동일한 C++ 엔진 및 양자화 방식을 공유하도록 구축되었습니다. 10초 분량 오디오 기준 애플 M4 Pro CPU 테스트에서 첫 번째 토큰 생성까지 걸린 시간은 11.1ms로, 기존 위스퍼 베이스(73.2ms)나 문샤인 타이니 v2(22.8ms)보다 훨씬 빨랐으며, 디코딩 속도 역시 초당 1,319토큰으로 경쟁 모델들(260토큰대)을 압도하는 벤치마크 결과를 보여주었습니다. 여기에 무음 구간을 사전에 감지해 불필요한 연산을 건너뛰는 기술과 특정 키워드를 정확하게 인식할 수 있도록 하는 알고리즘까지 탑재되어 모바일 및 엣지 디바이스 개발자들의 큰 관심을 받고 있습니다.