AI 모델 크기 극한으로 줄이기... '1.58비트' 벽마저 깨졌다?

요약 최근 거대언어모델(LLM) 업계에서는 가중치를 -1, 0, 1의 3진법(Ternary)으로 표현해 모델 크기를 극단적으로 줄이려는 1.58비트 LLM 연구가 큰 화두였습니다. 정보이론상 3가지 상태를 표현하는 데 가중치당 log2(3) ≈ 1.585비트가 필요하고, 실제 배포 시에는 1바이트에 5개의 3진 가중치를 묶는 5-trit 패킹 방식(실제 약 1.625비트)이 주로 쓰여왔습니다. 하지만 이 기존 방식은 세 가지 기호가 동일한 확률로 등장한다는 비현실적인 가정을 전제로 하고 있었습니다. 연구진이 실제 공개된 29개의 3진 LLM 가중치 분포를 조사한 결과, 숫자 '0'의 비율이 전체의 최대 51.5%에 달할 정도로 매우 높다는 사실을 발견했습니다. 연구진은 이러한 희소성(sparsity)에 착안해 가중치 분포에 적응하는 새로운 레이아웃인 'BITCOS'를 제안했습니다. BITCOS는 값이 존재하는지 여부를 표시하는 밀집 비트맵(presence bitmap)과 부호를 압축한 벡터(compacted sign vector)로 구성되어, 0의 비율(z)에 따라 가중치당 실질적으로 '2 - z' 비트의 용량만 차지하도록 설계되었습니다. 실험 결과, BITCOS는 테스트된 29개 모델 중 26개에서 기존 5-trit 패킹보다 더 뛰어난 압축 효율을 보여주었으며, 가장 0이 많은 모델에서는 이론적 한계치로 여겨지던 1.58비트의 벽을 깨고 가중치당 1.485비트까지 압축하는 데 성공했습니다. 또한 연구진은 AVX-512, AVX2 및 인텔 Xe2 GPU에 최적화된 압축 해제 루틴을 개발해 연산 효율을 극대화했습니다. 실제 최신 행렬-벡터 곱셈 커널 대비 최대 1.28배의 성능 향상을 기록했으며, 클라이언트 및 서버 CPU, 내장/외장 Xe2 GPU 등 5가지 플랫폼에서 엔드투엔드 LLM 디코딩 처리량이 CPU 기준 최대 1.18배, GPU 기준 최대 1.27배까지 향상됨을 입증했습니다.