브라우저에서 7개 초소형 LLM 바로 돌려보는 벤치마크 실험실 등장

요약 웹 브라우저 환경에서 서버와의 통신 없이 7개의 초소형 거대언어모델(LLM)을 직접 구동하고 성능을 비교해 볼 수 있는 실험용 웹 프로젝트 'MicroLLM Lab'이 공개됐습니다. 해당 도구는 WebGPU 가속 및 4비트 양자화(Q4) 기술을 기반으로 작동하며, 다운로드된 모델 데이터는 사용자의 브라우저 IndexedDB 캐시에 안전하게 보관되어 외부 서버로 전송되지 않고 기기 내부에서만 연산됩니다. 이용자는 원하는 초소형 모델(예: 135M 규모 모델 등)을 개별 선택하거나 전체 로드한 후, 브라우저 환경에서 직접 텍스트 생성과 추론 벤치마크를 돌려볼 수 있습니다. 벤치마크 테스트는 글쓰기 감성 평가가 아닌 정규표현식(Regex)과 정확한 토큰 일치 여부 기반의 객관적 테스트로 진행됩니다. 최고 피크 속도, 256토큰 연속 디코드 기반 지속 속도(tok/s), 테스트 소요 시간(ms), 그리고 정확도(패스율)를 측정해 실시간 차트와 종합 점수로 보여줍니다. 또한 사용자의 기기 사양과 모델별 추론 속도가 기록된 인증서 이미지를 생성해 소셜 미디어(X, 링크드인)에 바로 공유할 수 있는 기능을 제공하며, 자바스크립트로 직접 평가 스크립트를 작성해 테스트할 수 있는 에디터 기능도 포함되어 있습니다.