엔비디아 블랙웰 랙, 스케줄러 하나 바꿨더니 사용 가능한 GPU 27% 늘어난 비결

요약 엔비디아의 차세대 AI 가속기 '그레이스 블랙웰(NVL72)' 랙 시스템을 효율적으로 활용하기 위한 새로운 스케줄러 기법이 제안되었습니다. 기존 시스템에서는 8개 GPU 단일 노드 내부에서만 고속 NVLink 연결이 가능했고 노드 간 통신은 인피니밴드(InfiniBand) 등에 의존해야 했습니다. 반면 NVL72는 랙 하나에 들어가는 72개 GPU 전체를 단일 NVLink 패브릭으로 묶어 대역폭을 비약적으로 끌어올린 것이 핵심입니다. 대규모 AI 학습에서 텐서 병렬화(TP)나 MoE(혼합 전문가 모델) 기반의 전문가 병렬화(EP)는 초고속 통신이 필수적입니다. 허깅페이스 벤치마크에 따르면 텐서 병렬화 작업을 NVLink 대신 인피니밴드로 전송할 경우 처리량이 약 43%까지 급감하며, 일반적인 8-GPU 서버에서 64-way 전문가 병렬화를 수행할 경우 인피니밴드 병목 때문에 통신이 전체 훈련 시간의 최대 60%를 잡아먹기도 합니다. NVL72 환경에서는 64개 GPU가 단일 랙 NVLink 도메인 안에서 통신할 수 있어 이런 병목을 제거할 수 있습니다. 이는 서빙(추론) 단계에서도 마찬가지로, vLLM 벤치마크 기준 텐서 병렬화를 통해 KV 캐시 블록을 늘려 처리량을 3.9배 높이는 등의 효과를 냅니다. 하지만 이러한 장점은 모든 워크로드가 단일 랙 내부에 머물 때만 유효합니다. 하드웨어 장애로 일부 노드가 꺼지거나 작업 완료 시간이 제각각이라 클러스터 내 빈 자리가 파편화되면, 작업이 여러 랙으로 쪼개져 다시 인피니밴드 병목에 갇히게 됩니다. 스카이파일럿(SkyPilot) 플랫폼은 이러한 문제를 해결하기 위해 네트워크 토폴로지를 인식하는 스케줄링 배치, 노드 장애 시 인플레이스(in-place) 복구, 클러스터 자동 조각 모음 기능 등을 도입하여 동일한 랙 인프라에서 사용할 수 있는 유효 GPU 자원을 27%까지 추가 확보할 수 있다고 밝혔습니다.