AI 모델 내부에 진짜 CPU와 RAM을 이식해 버린 괴짜 개발자 등장

요약 한 개발자가 오픈소스 AI 모델인 Qwen 3.5 4B 내부에 외부 런타임이나 플러그인 없이 순수하게 가중치(Weights)와 연산 구조만으로 작동하는 RISC-V 가상 CPU를 구현한 실험 프로젝트 'Qwenputer'를 공개했습니다. 핵심 원리는 Qwen 3.5 모델의 어텐션 레이어 중 4분의 3에 적용된 선형 RNN 구조인 Gated DeltaNet(GDN)을 하드웨어의 RAM처럼 활용한 것입니다. 개발자는 GDN 헤드의 게이트 값을 1로 고정해 기억이 지워지지 않게 만들고, 쓰기 강도(beta)를 1로 설정한 뒤 원-핫(one-hot) 벡터 인코딩을 적용했습니다. 이를 통해 특정 메모리 주소(행)를 덮어쓰고 읽어오는 방식으로 고정 크기의 상태 행렬을 정확한 주소 기반 RAM으로 탈바꿈시켰습니다. CPU 회로 설계 역시 추가적인 머신러닝 학습(Training) 없이 컴파일러를 통해 직접 트랜스포머 가중치로 변환되었습니다. 레지스터 읽기, 덧셈, 분기 등 CPU 명령어가 어텐션 헤드와 피드포워드 유닛, DeltaNet 헤드에 각각 배치되었으며, 모델이 토큰을 순차적으로 생성(Decode)하는 과정 자체가 CPU의 명령어 실행 과정으로 작동합니다. 이 임베디드 CPU는 32비트 RV32IM 명령어 세트와 Zba 확장 등을 지원하는 11개 레이어로 구성되어 Qwen 모델 앞단에 추가되었습니다. 공식 riscv-tests 검증을 통과하고 QEMU와 일치하는 연산 결과를 보였으며, 외부 보정 없이 1,800만 개의 명령어를 오류 없이 연속 실행했다고 밝혔습니다. 비록 속도는 느리지만 모델 내부 포워드 패스만으로 C 언어와 마이크로파이썬(MicroPython) 코드를 직접 실행할 수 있는 수준입니다. 모델 자체는 기존 도구 호출(Tool call) 포맷 형식을 내부적으로 재활용하여 CPU에 명령을 전달하고 연산 결과를 돌려받습니다. 이 과정에서 순수 모델 가중치는 그대로 유지되며, CPU 작동용 트레이스 토큰이 모델 본체에 직접 노출되지 않도록 경량 드라이버를 통해 제어됩니다. 개발자는 이번 프로젝트를 통해 언어 모델이 추론 과정을 RNN 상태 내부에 숨기거나 모델 자체에 조작 불가능한 모니터링 시스템을 심는 등의 후속 연구 가능성을 제시했습니다.