글자 하나 쓸 때마다 API 호출하는 광기의 챗봇 등장 ㅋㅋㅋ

요약 해외의 한 개발자가 대규모 언어 모델(LLM)이 아닌 분류/평가 도구인 'Jev' API를 기상천외한 방식으로 개조해 챗봇으로 동작하게 만든 오픈소스 프로젝트 'jevchat'을 공개해 화제를 모았습니다. 이 프로젝트의 작동 방식은 무모할 정도로 단순하면서도 기발합니다. 사용자의 질문과 지금까지 생성된 답변 텍스트를 두고, Jev에게 "다음에 올 글자(심볼)나 토큰이 무엇인지"를 매 글자마다 묻는 것입니다. 후보군(알파벳, 특수문자, 정지 신호 등)을 주고 Jev가 계산한 확률 분포를 받아 다음 글자를 하나 샘플링해 붙이고, 문장이 끝날 때까지 이 과정을 끊임없이 반복합니다. 한 글자를 찍어낼 때마다 API를 호출하는 셈입니다. 개발자는 이 아이디어가 순전히 재미를 위해 시작된 것으로 비용 측면에서는 극히 비실용적이지만 결과물은 굉장히 유쾌하다고 설명했습니다. 심볼 선택 방식 또한 다채롭게 구현되어 있는데, 전체 알파벳을 한 번에 묻는 방식(choice), 이분 탐색처럼 질문을 쪼개 줄여나가는 방식(bisect), 알파벳을 버킷 단위로 나눠 처리하는 방식(buckets), 빔 서치(beam search) 등을 지원합니다. 터미널에서는 초당 생성 글자 수, API 호출 지연 시간, 각 단계별 심볼 확률 분포를 실시간으로 모니터링할 수도 있습니다. 거대 언어 모델 시대에 비효율의 극치를 달리는 집념의 실험이자 기괴한 장난감 프로젝트로 개발자 커뮤니티에서 웃음을 자아내고 있습니다.