"토크나이저 없어도 된다?" 바이트 단위로만 학습해도 LLM 성능 역전한 최신 연구

요약 기존 거대언어모델(LLM)의 필수 요소로 여겨졌던 고정 토크나이저(Tokenizer) 없이, 순수 바이트(Byte) 시퀀스만을 직접 입력받아 처리하는 트랜스포머 모델의 잠재력을 입증한 연구 결과가 공개되었습니다. 통상 단어 조각(Subword) 하나가 약 4바이트에 해당하기 때문에, 바이트 단위로 텍스트를 처리하면 시퀀스 길이가 4배가량 길어져 연산 효율이 극도로 떨어진다는 것이 정설이었습니다. 하지만 연구진은 토큰 중첩 훈련(Token-superposition training)과 해시 임베딩 기법을 적용하면, 동일한 파라미터 예산 내에서 바이트 모델이 기존 서브워드 모델보다 더 우수한 손실값을 달성하며 모델 크기 확장에 유리하다고 밝혔습니다. 즉, 늘어난 시퀀스 길이가 결함이 아니라 오히려 파라미터 제약 하에서 추가적인 연산 기회를 제공하는 유용한 스케일링 축으로 작용한다는 설명입니다. 또한 복잡한 계층 구조(BLT, H-Net 등)를 억지로 도입하지 않아도, 표준 평면(Flat) 트랜스포머가 바이트 스트림 내부에서 스스로 의미 있는 국소적 추상화 구조를 학습한다는 사실이 확인되었습니다. 연구진이 모델 중간층의 최대 25%를 국소 집약된 표현만 참조하도록 제한했음에도 다운스트림 성능이 그대로 유지되어, 모델 내부에서 자연스럽게 계층적 추론이 일어남이 증명되었습니다. 추론 속도 측면에서도 흥미로운 결과가 나타났습니다. 바이트별 손실 분포를 확인한 결과 대다수 바이트는 손실이 0에 가까울 정도로 예측이 쉬웠으며, 난이도 높은 예측은 구조의 경계면에서만 집중적으로 발생했습니다. 이를 투기적 디코딩(Speculative decoding)에 활용하자, 서브워드 모델 대비 약 3.4배나 더 많은 토큰을 한 번에 승인받아 바이트 단위 처리로 인한 지연 시간을 상쇄할 수 있었습니다. 특히 CUTE 단어 조작 점수에서 약 40%, OCRBench에서 약 20%의 상대적 성능 향상을 보여주며 시각 정보와 결합하는 멀티모달 모델 발전에도 큰 가능성을 제시했습니다.