초소형 칩에서 게임 엔진 없이 AI가 '꿈'을 꾸며 돌아가는 게임들

요약 단돈 몇 달러짜리 초소형 마이크로컨트롤러인 라즈베리 파이 피코 2 W(Raspberry Pi Pico 2 W)에서 초소형 인공지능 월드 모델을 구동해 게임 엔진 없이 게임을 시뮬레이션하고 플레이까지 해내는 오픈소스 프로젝트 'Tiny Worldformer'가 공개되었습니다. 이 시스템은 실제 게임 엔진 코드 없이 단 두 개의 신경망만으로 돌아갑니다. 첫 번째는 '월드 모델' 네트워크로, 현재 프레임 화면과 조작 입력을 받아 다음 화면 프레임과 보상을 직접 예측해 일종의 '꿈'처럼 게임 화면을 생성합니다. 두 번째는 '액터' 네트워크로, 월드 모델이 방금 생성해낸 화면을 보고 다음 조작 행동을 결정해 입력합니다. 칩 내부에서는 실제 게임 코드가 전혀 돌아가지 않으며, 오직 월드 모델이 그려내는 화면과 액터가 내리는 입력 신호만 서로 주고받는 구조입니다. RP2350 칩의 1번 코어가 두 신경망의 연산을 전담하고, 0번 코어는 USB와 디스플레이 출력을 처리하며, 버튼을 누르면 사람이 직접 이 AI가 꿈꾸는 게임 속에 개입해 플레이할 수도 있습니다. 극도로 적은 메모리를 가진 마이크로컨트롤러 환경에서 이를 구현하기 위해 개발자는 가중치를 공유하는 루프형 트랜스포머(Looped Transformer) 구조를 적용했습니다. 층을 여러 겹 쌓는 대신 단 하나의 트랜스포머 블록에 동일한 가중치를 1~4회 반복 적용해 연산 정확도와 속도를 조율한 것입니다. 보드 성능을 고려해 실제 구동 시에는 2회 반복 연산(2 loops)을 기본으로 사용합니다. 테스트에 사용된 게임은 벽돌깨기(Breakout), 둠 라이트(Doom-lite), 플래피 버드(Flappy Bird), 퐁(Pong), 팩맨 라이트(Pac-Man lite) 총 5종입니다. 화면을 작은 패치 토큰으로 쪼개어 예측하며, 벽돌깨기(약 2.6만 파라미터)는 99.99%, 플래피 버드는 100%, 퐁은 99.45%의 정확도로 실제 게임과 완전히 일치하는 프레임을 생성해냈습니다. 3D 레이캐스팅 시야를 가진 둠 라이트(약 5.5만 파라미터) 역시 83.6%의 일치율을 보이며 초소형 기기에서 완벽에 가까운 실시간 월드 모델 시뮬레이션 가능성을 입증했습니다.