단어 한 글자씩 안 쓰고 단번에 정답 고르는 경량 AI 모델 오픈소스 등장 (둠 플레이 데모 포함)

요약 상용 모델의 아키텍처를 독립적으로 모방해 구현한 소형 AI 모델 오픈소스 프로젝트 'Jevlike'가 공개되었습니다. 이 프로젝트는 TypeSafe의 상용 다중 선택지 모델인 'Jev'의 입출력 구조를 역공학에 가깝게 재현한 경량 모델입니다. 일반적인 거대 언어 모델(LLM)처럼 단어를 한 글자씩 차례대로 생성(autoregressive)하는 대신, 입력된 텍스트와 여러 선택지를 한 번의 연산 패스(one pass)만으로 비교하여 각 선택지별 확률을 즉시 계산하는 방식을 취합니다. 모델 아키텍처는 각 선택지를 쿼리 벡터(query vector)로 변환한 뒤, 컨텍스트 토큰에 어텐션 가중치를 부여하여 선택지별 컨텍스트 벡터를 생성합니다. 이후 내적(dot product) 연산과 소프트맥스(softmax) 함수를 거쳐 전체 선택지에 대한 확률 분포를 산출합니다. 텍스트를 벡터로 변환하는 기본 인코더는 바이트 임베딩을 밑바닥부터 학습하지만, Qwen2.5-0.5B와 같은 허깅페이스(Hugging Face)의 사전 학습 모델 가중치를 동결한 채 소형 스코어러 헤드만 학습시키는 방식도 지원합니다. 특히 흥미로운 점은 동일한 옵션-어텐션 구조를 이미지 패치에 적용해 게임 컨트롤러의 버튼 입력 모델로 확장한 실험입니다. 공개된 데모에서는 고전 게임 둠(Doom)의 7개 조작 버튼과 체스(Chess)의 5개 이동 키를 같은 비주얼 스코어러 헤드로 처리했습니다. 다만 체스 모델의 경우 무작위로 말을 움직이는 랜덤 에이전트를 상대로는 4승 46무 0패를 기록했으나, 가장 쉬운 체스 엔진인 스톡피시 레벨 0(Stockfish level 0)을 상대로는 0승 2무 48패에 그치며 아직 기초적인 실험 단계임을 보여주었습니다.