AI 없이 압축 프로그램 'gzip'만으로 셰익스피어 희곡 쓰는 법? ㅋㅋ

요약 신경망이나 인공지능 모델의 가중치, 학습 데이터 없이 운영체제에 기본 탑재된 파일 압축 프로그램 gzip만으로 텍스트를 생성하는 언어 모델 실험이 공개되어 개발자 커뮤니티에서 큰 화제를 모았습니다. 이 실험은 '모든 예측 모델은 압축기이며, 모든 압축 알고리즘은 본질적으로 예측 모델'이라는 정보 이론의 압축-예측 등가 원리(Language Modeling is Compression 논문)에 착안해 출발했습니다. 압축 알고리즘인 gzip(DEFLATE)은 32KiB 크기의 슬라이딩 윈도우 내에서 직전에 나온 텍스트와 일치하는 패턴을 찾아 참조값으로 치환하는 방식으로 용량을 줄입니다. 즉, 압축기가 이미 '예상한' 익숙한 텍스트일수록 압축 후 바이트 길이가 짧아집니다. 이를 역이용해 기존 텍스트(코퍼스)를 gzip의 윈도우에 미리 넣어두고, 후보 문장을 이어 붙였을 때 압축 결과물의 길이가 가장 짧아지는 바이트 시퀀스를 찾는 방식으로 다음 글자를 예측하게 만든 것입니다. 단순히 1바이트씩 가장 잘 압축되는 글자를 고르면 정수 단위 바이트 크기 특성상 동률이 발생해 생성이 실패하기 때문에, 개발자는 일정 구간을 미리 내다보는 '빔 서치(Beam Search)' 알고리즘을 도입했습니다. 또한 최근 생성된 일부 텍스트만 문맥에 남겨두는 방식을 취해, 직전 단어를 무한 반복 복사하는 DEFLATE의 루프 현상을 방지했습니다. 셰익스피어 희곡을 바탕으로 실행한 결과, 완벽한 문장은 아니지만 극본 형식과 어휘 패턴을 흉내 낸 그럴싸한 결과물이 출력되었습니다. 개발자는 순수 파이썬 표준 라이브러리(zlib) 단 한 개의 파일로 이 프로젝트를 구현해 'GziPT'라는 이름으로 깃허브에 공개했습니다.