칩 59장 이어붙여서 3조 파라미터 AI 돌린다는 세레브라스 근황

요약 AI 칩 스타트업 세레브라스(Cerebras)가 자체 초대형 웨이퍼 스케일 칩인 WSE-3T를 활용해 조(Trillion) 단위 파라미터의 초거대 AI 모델을 구동하는 기술적 아키텍처를 공개했습니다. 단일 WSE-3T 웨이퍼의 온칩 메모리 용량은 44GB 수준이지만, 가중치만 수 테라바이트에 달하는 수조 파라미터 모델을 여러 웨이퍼에 나누어 배치함으로써 초당 1,000~2,000개 이상의 토큰을 처리할 수 있는 속도를 달성했습니다. 이번 시연 및 설명에 사용된 모델은 3조(3T) 파라미터를 보유한 오픈소스 모델 'Kimi K3'입니다. Kimi K3는 69개의 선형 어텐션 레이어와 24개의 덴스(dense) 레이어 등 총 93개 레이어로 구성되어 있습니다. 세레브라스는 4비트 양자화를 적용해 전체 가중치 페이로드를 나눈 뒤 각 레이어당 약 16GB가 필요하다고 계산했습니다. 각 웨이퍼(44GB)에는 레이어 유형에 따라 차등 배치됩니다. 전체 토큰의 키·값을 저장해야 해 추가 온칩 SRAM이 많이 필요한 덴스 레이어는 웨이퍼 1장당 1개 레이어만 올리고 남은 공간을 KV 캐시로 활용합니다. 반면 고정된 상태만 유지하면 되는 선형 어텐션 레이어는 웨이퍼 1장당 2개 레이어(총 32GB)씩 배치할 수 있습니다. 이에 따라 Kimi K3 모델 전체를 구동하기 위해 선형 레이어용 35장, 덴스 레이어용 24장을 합쳐 총 59장의 웨이퍼가 파이프라인으로 연결됩니다. 웨이퍼 간 통신은 이더넷 기반 RDMA를 통해 홉당 약 2마이크로초의 매우 짧은 지연 시간으로 활성화(activation) 데이터만 전달하는 방식을 취합니다. 모델 가중치 전체가 칩 내부에 상주하므로 칩 간에 가중치 이동이 필요 없는 것이 강점입니다. 또한 파이프라인 구조를 활용해 각 단계가 서로 다른 요청(마이크로 배치)을 동시에 처리하게 함으로써 유휴 시간 없이 대규모 동시 요청을 처리할 수 있다고 설명했습니다.