기타 Hacker News · 5일 전

도커·파이썬 없이 .exe 하나로 로컬 AI 모델 돌리는 Go 도구 등장

핵심 요약
  • 파이썬이나 도커, 올라마 설치 없이 Go 단일 바이너리로 .gguf 로컬 모델을 구동하는 오픈소스 서버 'Janus'가 공개되었습니다.
  • 벌칸(Vulkan)을 활용해 엔비디아뿐 아니라 AMD와 인텔 GPU 및 CPU 환경에서도 가볍게 작동하며 모델 핫스왑을 지원합니다.
  • OpenAI 호환 API를 제공해 커서(Cursor)나 클라인(Cline) 같은 개발 도구에 바로 로컬 백엔드로 연동할 수 있습니다.
요약 파이썬 환경 설정이나 도커(Docker), 올라마(Ollama) 없이 단 하나의 실행 파일만으로 로컬 LLM을 구동할 수 있는 오픈소스 프로젝트 'Janus(야누스)'가 공개됐습니다. Janus는 Go 언어로 작성된 단일 바이너리 형태의 로컬 AI 모델 서버입니다. llama.cpp 라이브러리와 벌칸(Vulkan) API를 기반으로 동작해, 특정 GPU 전용 프레임워크(CUDA 등)에 구애받지 않고 AMD, 인텔, 엔비디아 등 다양한 그래픽카드는 물론 CPU 환경에서도 .gguf 포맷의 경량 모델을 곧바로 실행할 수 있도록 설계됐습니다. 이 프로젝트의 핵심은 가벼움과 확장성입니다. 무거운 파이썬 패키지나 가상화 도구를 설치할 필요 없이 윈도우 기준 약 50MB 크기의 단일 실행 파일(janus.exe)과 llama.dll만 갖추면 작동합니다. 또한 서버 재부팅 없이 모델을 실시간 교체하는 '핫스왑(Hot-swap)' 기능, 딥시크(DeepSeek) 계열 등 최신 추론 모델의 사고 과정(<think> 태그)을 별도의 필드로 분리해 주는 기능, GGUF 메타데이터를 기반으로 챗 템플릿을 자동 감지하는 편의 기능도 기본 탑재됐습니다. 로컬 서버는 OpenAI 호환 규격의 REST API(/v1/chat/completions)를 8990 포트로 노출하기 때문에, 컬(curl)이나 커맨드라인 스크립트는 물론 커서(Cursor), 클라인(Cline) 등 인기 AI 코딩 에디터의 로컬 백엔드로 즉시 연결해 활용할 수 있습니다. 윈도우 환경을 기본 타깃으로 개발되었으나 리눅스와 맥OS에서도 구동이 가능합니다.
Sponsored · 광고