"책상 위에서 1조 파라미터 AI 돌린다"… 애플, 맥 스튜디오 클러스터 추론 공개

요약 애플 머신러닝 연구진이 오픈소스 프레임워크인 MLX의 최신 버전을 공개하며, 애플 실리콘 맥 스튜디오를 활용한 대규모 언어모델(LLM) 구동 및 분산 추론 벤치마크 결과를 발표했습니다. 특히 이번 공개에서는 약 1조 파라미터에 달하는 초대형 프론티어급 오픈 모델 '뮤즈 스파크 오픈(Muse Spark Open, 816B)'을 개인 책상 위의 맥 환경에서 직접 구동하는 기술을 선보였습니다. 애플 측 설명에 따르면, 썬더볼트 기반 RDMA 드라이버를 통해 맥 스튜디오 4대를 클러스터로 연결한 환경에서 뮤즈 스파크 오픈 모델을 텐서 병렬화로 구동했을 때 초당 36개 이상의 토큰 생성 속도를 기록했습니다. 이는 인간의 평균 읽기 속도를 훌쩍 웃도는 수준으로, 초대형 모델을 로컬 환경에서도 실용적으로 활용할 수 있음을 보여줍니다. 또한 단일 맥 스튜디오(통합 메모리 최대 512GB) 환경에서의 벤치마크도 상세히 다뤄졌습니다. 새로 출시된 M5 울트라(M5 Ultra) 칩과 이전 세대인 M3 울트라를 비교했을 때, M5 세대에 탑재된 GPU 뉴럴 액셀러레이터 덕분에 첫 토큰 생성 시간(TTFT)이 M3 대비 최대 4.6배 빨라졌습니다. 토큰 생성 속도 역시 M5 울트라의 통합 메모리 대역폭(초당 1.2TB/s, M3는 819GB/s) 향상에 힘입어 1.6배 향상되었습니다. 전력 소모 면에서도 M5 울트라 기반 맥 스튜디오의 피크 소비전력은 약 300W 수준(M3 울트라는 약 200W)으로 일반 가정용 토스터기 전력의 일부에 불과해, 개발자가 대규모 에이전트 코딩이나 프라이빗 AI 연구를 로컬 데스크톱에서 매우 효율적으로 실행할 수 있다고 강조했습니다.