"그래픽카드 사기 전에 성능 체감해보세요" 로컬 LLM 속도 체험 사이트 등장

요약 새로운 하드웨어를 구매하기 전에 로컬 거대언어모델(LLM)이 실제로 얼마나 빠른 속도로 구동되는지 체감해볼 수 있는 오픈소스 웹 서비스 'Llmspeed'가 공개되었습니다. 사용자는 엔비디아(NVIDIA) RTX 3060·3090·4090 및 차세대 50시리즈(RTX 5060 Ti, 5070 Ti, 5080, 5090), 애플 맥 시리즈(M4/M5 Pro, Max, Ultra), AMD 라데온 및 라이젠 AI Max+(Strix Halo), 인텔 아크 프로, 그리고 클라우드용 H100·A100·H200에 이르기까지 다양한 하드웨어를 선택해 테스트할 수 있습니다. 모델 역시 Llama 3.1 8B, DeepSeek R1 Distill 14B, Qwen 시리즈, Gemma 등 다양한 오픈소스 LLM을 지원합니다. 해당 측정치는 단일 장비 기준 짧은 프롬프트 처리 속도를 추정한 것으로, 레딧의 r/LocalLLaMA 커뮤니티 벤치마크 및 localscore.ai 등의 실제 측정 데이터를 기반으로 하거나 하드웨어 사양을 바탕으로 도출되었습니다. 전체 프로젝트는 GitHub을 통해 오픈소스로 제공됩니다.