"AI 토큰마다 글자 폭이 똑같아짐" 양덕이 만든 기괴한 폰트 컴파일러

요약 한 개발자가 대규모 언어 모델(LLM)의 토큰 단위마다 글자 폭을 동일하게 맞춰주는 독특한 폰트 컴파일러 'Token-space font compiler'를 공개해 화제를 모으고 있습니다. 이 도구는 기존 폰트 파일과 특정 AI 모델의 토크나이저를 결합하여, 텍스트가 화면에 표시될 때 각 토큰이 차지하는 너비가 3em으로 균일해지도록 셰이핑(shaping) 규칙을 폰트 내부에 내장한 단일 TTF 폰트를 생성합니다. 별도의 자바스크립트나 렌더링 스크립트 없이 오직 폰트 자체의 오픈타입 셰이핑 기능만으로 토큰 단위 고정폭을 구현한 것이 특징입니다. 지원되는 프리셋에는 딥시크(DeepSeek), 오픈AI(OpenAI), 키미(Kimi), 큐원(Qwen), GLM, 라마 3(Llama 3) 등이 포함되어 있으며, 젬마(Gemma)와 제미나이(Gemini)는 실험적 지원 목록에 올라 있습니다. 사용자는 웹 브라우저에서 직접 폰트를 컴파일하고 다운로드할 수 있으며 모든 파일 변환은 브라우저 로컬에서 안전하게 처리됩니다. 제작자는 이 폰트를 실제 메신저 환경에서 활용할 수 있는 가이드도 함께 제공했습니다. 디스코드 서드파티 클라이언트인 베스톱(Vesktop)용 테마 CSS나 웹 슬랙(Slack)용 유저스크립트를 이용해, AI 봇이나 특정 유저 ID가 작성한 메시지만 골라서 이 토큰 고정폭 폰트가 적용되도록 꾸밀 수 있습니다. 다만 제작자는 브라우저의 줄바꿈 규칙이나 공백 정규화, 복잡한 언어 스크립트 등에 따라 토큰 경계가 어긋날 수 있어 엄격한 토큰 카운터가 아닌 시각적 실험 프로젝트임을 명시했습니다. 실제로 딥시크의 일부 제어 문자 공백 분류 오류나 라마 3의 바이트 처리 한계 등 세부적인 예외 사항과 한계점도 상세히 공개되었습니다.