기타 Hacker News · 39분 전

비행기 모드 맥북에서 몇 분 만에 비행 시뮬레이터 짠 로컬 AI 'Inkling 2 Mini'

핵심 요약
  • Thinking Machines Lab이 중간 레이어를 토큰당 3번 반복 실행하는 루프형 MoE 모델 'Inkling 2 Mini'를 오픈웨이트로 공개했습니다.
  • 총 26.4B 파라미터(약 20GB 메모리)로 소비자용 노트북에서도 구동되며, 100B 미만 오픈웨이트 모델 중 DeepSWE v1.1(48.2%)과 Vals Index v2.2(46.5%) 등에서 최고 성능을 기록했습니다.
  • 실제 연구진이 비행기 모드 상태의 맥북 프로에서 오프라인으로 실행해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 구현하는 데 성공했습니다.
요약 Thinking Machines Lab이 노트북에서도 구동 가능할 만큼 가볍지만 강력한 성능을 갖춘 'Inkling 2 Mini'를 오픈웨이트로 공개했다. 이 모델은 MoE(Mixture-of-Experts) 아키텍처 기반의 루프형 트랜스포머(looped transformer)로, 총 파라미터는 26.4B(활성 파라미터 3.4B)이며 중간 레이어를 토큰당 3회 반복 실행해 토큰당 가중치 활성화량은 5.4B 수준이다. 이를 통해 모델이 더 적은 토큰을 출력하면서도 내부적으로 더 깊은 추론을 수행할 수 있어, 특히 에이전트 코딩처럼 추론 품질이 중요한 작업에서 강점을 보인다. 성능 면에서 Inkling 2 Mini는 100B 미만 오픈웨이트 모델 중 DeepSWE v1.1(48.2%), Vals Index v2.2(46.5%), SWE-bench Pro v2 등 주요 에이전트 코딩 벤치마크에서 선두를 기록했다. 가중치 대부분을 NVFP4(마지막 4개 레이어는 MXFP8)로 학습 및 배포해 전체 메모리 점유율을 약 20GB로 줄였으며, 연구진이 비행기 모드의 맥북 프로(M5 Pro, 48GB)에서 오프라인으로 실행해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 제작하는 시연도 선보였다. 연구진은 루핑(looping)이 추론 성능과 모니터링 가능성에 미치는 영향을 측정하기 위해 가변 루프(variable-loop) 연구용 모델도 함께 공개했다. 실험 결과 루프 횟수가 늘어나도 모델의 사고 과정(CoT)은 짧아지면서도 여전히 읽고 이해할 수 있는 수준을 유지했고, 에이전트 사보타주 테스트에서도 위험성이 높아지지 않았다. 다만 루핑은 추론력과 긴 문맥 처리(GraphWalks BFS, MRCR v2 등)는 향상시키지만 모델 자체의 지식 저장량(AA-Omniscience 등)을 늘리지는 못하며, Inkling 2 Mini는 검색 및 도구 활용 능력을 통해 이러한 지식 격차를 보완하고 있다.
Sponsored · 광고