기타 Hacker News · 42분 전

베릴로그 1도 모르는데 AI 바이브코딩으로 FPGA 칩 짜서 LLM 돌린 개발자

핵심 요약
  • 글쓴이는 AWS F2 FPGA 인스턴스에 AI 코딩 에이전트를 붙여 C++와 베릴로그(Verilog) 코드를 짜게 해 삼진 가중치 기반 LLM을 실제로 구동하는 데 성공했다.
  • 10년 넘게 C++를 안 썼고 베릴로그는 전혀 몰랐지만, 에이전트에게 '더 창의적으로 해봐', '2배 빠르게 가자' 같은 바이브코딩 프롬프트만 주로 던져 초당 6.43토큰에서 213.13토큰까지 33배나 속도를 높였다.
  • 며칠 동안 수백 건의 실험을 돌리며 코드 약 300만 줄을 생성하고 출력 파일 3,000만 줄을 분석했으며, 클로드와 오픈AI 토큰 비용으로 약 1만 달러를 사용했다.
요약 최근 코딩 에이전트 덕분에 낯선 프로그래밍 언어와 영역까지 손쉽게 다룰 수 있게 되면서, 한 개발자(안킷 굽타)가 아예 하드웨어 영역인 FPGA(재프로그래밍 가능한 칩)에 LLM을 직접 올려 돌리는 실험에 도전해 화제를 모았다. 글쓴이는 대학이나 스타트업 시절에도 FPGA를 다뤄본 적이 없었고, 베릴로그(Verilog)는 아예 처음이며 C++ 역시 제대로 써본 지 10년이 넘은 상태였다. 하지만 AI 추론에 FPGA를 써볼 수 있겠다는 생각에 직접 하드웨어를 사는 대신 Codex를 통해 AWS의 F2 인스턴스(FPGA HBM 메모리 16GB 탑재)를 빌려 프로젝트를 시작했다. 마침 메모리 제약이 큰 환경에 적합한 딥그로브(DeepGrove)의 새로운 삼진 가중치(ternary weight) 아키텍처를 접한 글쓴이는 이를 FPGA 위에서 실용적인 속도로 돌려보기로 했다. 이후 컨덕터(Conductor) 환경에서 클라우드 에이전트를 며칠 동안 계속 돌렸는데, 글쓴이가 한 일은 대부분 주기적으로 에이전트를 격려하는 것뿐이었다. '너는 초지능 모델이니 더 창의적으로 해봐', '2배 더 빠르게 가보자' 같은 소위 '바이브코딩' 위주의 프롬프트를 던졌고, 가끔 '추측 디코딩(speculative decoding)을 고려해 보라'거나 '왜 CPU에서 돌고 있냐' 같은 ML 지식만 조금 보태줬을 뿐이다. 그럼에도 에이전트(Astra와 Opus를 번갈아 사용)는 스스로 C++와 베릴로그 코드를 작성하고 검증하며 성능을 극적으로 끌어올렸다. 초기 6.43 토큰/초였던 기준선에서 시작해 호스트 오버헤드 개선, 버스트 어텐션, 병렬 라우터, 글루 엔진, 새 파이프라인, 프롬프트 추측, 가중치 패킹, 병렬 헤드 로더 등 14단계의 최적화 실험을 거치며 최종적으로 초당 213.13토큰(33.13배 향상)을 달성했다. 중간에 초당 10토큰 수준일 때 딥그로브 창업자들에게 연락하자, 몇 달 전 자신들이 시도했을 때는 모델 성능이 부족해 안 됐는데 어떻게 이렇게 쉽게 됐냐며 놀라워했고, 이들이 보내준 설계 요약 프롬프트를 복붙해 세션에 넣은 것이 가장 큰 인간 측 조언이었다고 한다. 이 자동 연구 루프는 며칠간 수백 개의 실험을 거치며 총 약 300만 줄의 코드를 작성하고 3,000만 줄의 출력 파일을 파싱했으며, 클로드와 오픈AI 토큰 비용으로 약 1만 달러가 소요됐다.
Sponsored · 광고