"스샷 안 보내고 0.3원에 맥 조작"… 초가성비 AI 컴퓨터 제어 오픈소스 등장

요약 기존 프론티어 AI 모델(예: Claude Opus 등)의 '컴퓨터 유즈(Computer Use)' 기능은 화면을 조작할 때마다 고해상도 스크린샷 전체를 대형 멀티모달 모델에 전송해야 했습니다. 이로 인해 단계당 수 초의 지연 시간과 막대한 API 비용이 발생해 실무 도입에 큰 걸림돌이었습니다. 개발자 awlevin이 공개한 오픈소스 프로젝트 'typesafe-computer-use'는 이 방식을 완전히 뒤집었습니다. 대형 모델에 스크린샷을 넘기는 대신, 화면 캡처 후 로컬 Vision OCR과 맥OS의 접근성(Accessibility) API를 활용해 화면 요소를 텍스트 및 UI 컨트롤 목록으로 추출합니다. 이후 분류 전용 경량 결정 모델인 TypeSafe를 호출해 최대 255개 선택지 중 다음 행동(클릭, 스크롤, 브라우저 이동 등)을 수백 밀리초 만에 결정합니다. 실제 텍스트 입력창에 자유 텍스트를 작성하거나 최종 답변을 정리할 때만 Claude와 같은 작문 모델을 제한적으로 호출합니다. 벤치마크 결과에 따르면, 단일 스크린샷 결정 기준 비용은 약 0.0002달러로 Opus 5(0.032달러) 대비 약 155배 저렴하며, 이전 히스토리를 포함한 현실적인 루프에서는 단계당 170~390배까지 비용이 절감됩니다. 12단계 작업 기준으로는 0.003달러 수준으로 대형 모델(0.40~0.90달러)보다 130~300배 절약되며, 엔드투엔드 처리 속도 역시 약 3.7배 빠릅니다. 다만 개발자는 명확한 한계점도 짚었습니다. 대형 프론티어 모델은 화면 픽셀만 보고도 이벤트 날짜 비교 등의 복잡한 추론을 자체적으로 처리하지만, 이 경량 분류기 방식에서는 날짜 파싱 같은 모든 논리적 상태 처리를 별도의 결정론적 코드로 직접 구축해야 한다는 점입니다.