오픈AI, 자기네 AI 갈아넣어서 자체 AI 칩 뚝딱 만들어버림 ㄷㄷ

요약 오픈AI가 자체 개발한 첫 AI 가속기 칩 '할라페뇨(Jalapeño)'의 설계 비하인드를 공개했습니다. 이번 프로젝트에서 가장 주목받는 점은 오픈AI가 자사의 대형언어모델(LLM)을 직접 반도체 설계에 투입해 개발 기간을 파격적으로 단축했다는 사실입니다. 공개된 스펙에 따르면 할라페뇨는 4비트 연산 기준 최대 13.4페타플롭스(PFLOPS)의 성능을 내며, 초당 15.4테라바이트(TB/s) 대역폭을 갖춘 232GB 규모의 HBM4 메모리 스택 6개 및 I/O 칩렛과 결합되어 있습니다. 오픈AI 자체 벤치마크에서는 현재 회사가 주력으로 쓰는 엔비디아의 GB300 대비 전력 소모를 줄이면서도 엔드투엔드 지연시간(프롬프트 입력 후 마지막 토큰 생성까지의 시간)을 최대 3.6배까지 줄일 수 있는 것으로 나타났습니다. 하지만 업계가 더 놀란 부분은 개발 속도입니다. 할라페뇨는 최초 아키텍처 구상부터 실제 첫 실리콘 칩이 나오기까지 20개월도 채 걸리지 않았습니다. 특히 반도체 논리 회로를 정의하는 RTL(레지스터 전송 레벨) 코드 작성부터 공장에 제조를 넘기는 테이프아웃(tape-out)까지는 단 9개월 만에 끝났습니다. 이러한 속도는 100명 미만의 소규모 팀으로 이뤄냈다는 점에서 더욱 화제가 되고 있습니다. 오픈AI 하드웨어 부사장 리처드 호(Richard Ho)에 따르면, 하드웨어 팀은 시스템 설계, 소프트웨어, 공급망 등을 모두 합쳐 평균 100명 미만으로 유지되었습니다. 오픈AI는 자사 LLM을 활용해 엔지니어들에게 '초능력'을 부여함으로써 수많은 설계 경로를 전례 없이 빠르게 검증할 수 있었다고 밝혔습니다. 한편 이번 프로젝트는 브로드컴(Broadcom)과의 협력으로 진행되어 오픈AI가 가속기, 메모리 계층, 네트워킹 등 엔드투엔드 시스템 설계를 맡고 브로드컴이 게이트 레벨 이후의 물리 설계를 담당했습니다.