LLM을 0.1비트 수준까지 줄여버린다는 삼성의 새 압축 기술 공개

요약 삼성 연구소(SamsungLabs)에서 개발한 초저비트 거대언어모델(LLM) 압축 기술인 'LittleBit' 및 후속 연구 'LittleBit-2'의 공식 소스코드가 오픈소스로 공개되었습니다. LittleBit 프로젝트는 고밀도 가중치 행렬을 저차원 잠재 인자(low-rank latent factors)로 분해한 뒤 이를 이진화하고, 경량화된 학습 스케일을 통해 크기 정보를 복원하는 잠재 분해 방식을 사용합니다. 이를 통해 추론 시 기존 모델 아키텍처를 그대로 유지하면서도 가중치당 1.0비트에서 최대 0.1비트 수준까지 극단적인 압축을 구현하는 것이 특징입니다. 후속 연구인 LittleBit-2는 초기화 단계에서 발생하는 잠재 기하학적 불일치 문제를 해결하기 위해 Joint-ITQ 기반의 내부 잠재 회전 기법을 도입했습니다. 이를 통해 양자화 인지 훈련(QAT)에 들어가기 전 SVD 기반 잠재 인자를 이진 초입방체에 정렬함으로써 성능을 높였으며, 초기화 단계만 수정되기 때문에 실제 추론 시 추가 오버헤드가 전혀 발생하지 않습니다. 현재 해당 코드베이스는 Llama 시리즈, Gemma, Qwen 등 다양한 오픈소스 LLM 모델들을 지원하고 있습니다.