System One 모델과 Jev 공개 소식

요약 전 OpenAI 연구원이자 ChatGPT 초기 연구에 참여했던 디오고 알메이다(Diogo Almeida)가 설립한 스타트업 TypeSafe AI에서 새로운 개념의 AI 모델인 '시스템 1 모델(System One Model)'과 첫 공개 모델 '제브(Jev)'를 공개했습니다. 개발진은 기존 거대언어모델(LLM)이 수년 동안 인간과의 대화에서는 초인적인 성능을 보였음에도 불구하고 실제 소프트웨어 자동화 영역에서는 한계가 뚜렷했다고 지적했습니다. 기존 모델들은 한 토큰씩 순차적으로 텍스트(문자열)를 생성하는 구조라 처리 속도가 3초에서 길게는 329초까지 걸리고, 할루시네이션(환각)이나 오작동 위험이 있어 소프트웨어 파이프라인에 직접 통합하기에는 병목 현상이 심하다는 분석입니다. 이번에 발표된 'Jev'는 자유로운 텍스트 생성을 완전히 포기하는 대신, 사전에 정의된 타입 안정적(Type-safe) 구조화 데이터 출력에 특화된 모델입니다. 단일 쿼리로 모든 출력을 병렬 생성하는 방식을 적용해 응답 시간을 70ms~500ms 수준으로 대폭 단축했으며, 기존 LLM 대비 속도가 40배에서 최대 200배까지 빠릅니다. 또한 RLCD(보정 결정을 위한 강화학습) 방식을 통해 모든 결과물에 정확한 신뢰도 및 확률 점수를 함께 제공함으로써, 모델 스스로 얼마나 확신하는지 알 수 있도록 설계되었습니다. 비용 측면에서도 100만 토큰당 입력 비용은 0.042달러(10억 토큰당 42달러) 수준이며 출력 토큰은 무료로 제공한다고 밝혔습니다. 사측은 이 모델이 복잡한 텍스트 대화 대신 코드 내의 스마트 if문, 빅데이터 맵리듀스, 실시간 앱 기능 분기, LLM 프롬프트 검증 및 탈옥 방지 가드레일 등의 자동화 작업에 최적화된 도구가 될 것이라고 설명했습니다.