"1866년 전보체로 대화해라"… AI끼리 19세기 말투 쓰게 했더니 토큰 비용 반토막 난 사연

요약 1866년 대서양 해저 케이블 전신이 개통되었을 당시 요금은 10단어 기준 100달러(단어당 10달러)에 달할 정도로 비쌌습니다. 당시 사람들은 글자 수와 비용을 줄이기 위해 전보 특유의 극도로 압축된 문체(전보체, cablese)를 사용했습니다. 그런데 160년이 지난 지금, 인공지능(LLM) 환경에서 이 전보체가 대형 언어 모델 간 통신 비용을 절반으로 줄여주는 혁신적인 최적화 기법으로 재조명받고 있습니다. 해외 개발진이 50개 지문과 1,300개 질문 벤치마크를 통해 테스트한 결과, 모델에게 답변이나 요약을 전보체(소문자 지시 포함)로 작성하게 했을 때 출력 토큰을 25%에서 최대 49%까지 절감할 수 있는 것으로 나타났습니다. 특히 놀라운 점은 다른 LLM(gemma, qwen, nemotron 등)이 이렇게 압축된 전보체 기록을 읽고 질문에 답했을 때의 정확도(recovery ratio)가 일반 평문(plaintext)을 읽었을 때와 대등하거나 오히려 소폭 더 높게(0.99~1.10배) 측정되었다는 사실입니다. 이는 모델들이 학습 데이터에 포함된 150년 치의 전보 문체를 이미 가중치 속에 내재하고 있어, 추가 학습이나 별도 API 수정 없이도 자연스럽게 전보체를 해독할 수 있기 때문입니다. 다만 이 압축 방식에는 중요한 조건이 있습니다. 모델이 추론 및 사고를 진행 중인 상태에서 답변 자체를 전보체로 강제하면 정확도가 81% 수준으로 떨어지는 '문체 비용(register tax)'이 발생합니다. 따라서 전보체는 내용 정리가 끝난 뒤 머신이 읽는 스크래치패드, 메모리 저장소, 에이전트 간 전달 단계에 적용해야 효과적입니다. 또한 gpt-5-mini처럼 사고(reasoning) 과정을 비활성화할 수 없는 모델의 경우, 전보체 압축 지시를 받으면 오히려 생각을 3배 이상 길게 하면서 청구 비용이 2배로 폭증하는 예외가 발생했습니다. 결과적으로 추론 제어가 가능한 모델을 활용해 기계 간 전송용 기록을 전보체로 압축 보관하면, 에이전트 메모리 용량을 약 2배로 확장하거나 출력 API 비용을 절반 가까이 아낄 수 있습니다. 사람이 직접 읽어야 할 때만 다시 평문으로 복원하더라도 전체 비용 면에서 평문 유지보다 훨씬 경제적이며, 임의로 생성된 기계어 프로토콜과 달리 사람이 직접 감시하고 감사(audit)할 수 있다는 장점도 갖추고 있습니다.