"AI한테 세무 맡겼더니 처참"... 최신 모델도 합격률 10%에 불과한 실무 테스트

요약 인공지능(AI) 데이터 및 벤치마크 기업 서지 AI(Surge AI)가 실제 세무 전문가들의 실무 업무를 바탕으로 AI 에이전트들의 역량을 평가한 벤치마크 '데이잡: 택스(DAYJOB: Tax)' 결과를 공개했습니다. 이 평가는 단순한 세법 퀴즈나 객관식 시험이 아니라, 고객 의뢰서와 복잡한 증빙 서류를 주고 세금 신고서, 작업 조서, 검토 보고서 등을 직접 작성하게 하는 50가지 전문 세무 실무 환경으로 구성되었습니다. 과제에 제공된 데이터셋은 실제 현업을 방불케 할 정도로 복잡합니다. 환경당 평균 30개에서 최대 123개에 달하는 문서(PDF 1,487개, 엑셀 117개, 워드 38개 및 이메일, 손글씨 영수증 사진 등 총 1,789개 파일)가 주어지며, 모델은 불완전하거나 상충하는 정보 속에서 스스로 조사 대상을 결정하고 숨겨진 세무 리스크를 파악해야 합니다. 예를 들어 한 주(State)에서만 영업하는 줄 알았던 기업의 현장 파견 기록을 분석해 여러 주의 납세 의무를 찾아내거나, 고객이 묻지 않은 양도세 비과세 거주 요건 만료 기한을 선제적으로 짚어내는 등의 전문적 판단력이 요구됩니다. PwC, 딜로이트, 베이커 틸리 등 유수의 회계법인 출신 세무 전문가들이 설계하고 다단계 검증을 거친 이번 평가(95% 이상 기준 충족 시 합격)에서 AI 모델들은 처참한 성적표를 받았습니다. 1위를 기록한 클로드 소네트 5.5의 통과율은 불과 10.8%에 그쳤으며, 클로드 파블 5.1(9.6%), 클로드 오퍼스 5.5(9.2%)가 그 뒤를 이었습니다. 이는 현재 최첨단 AI 에이전트라 할지라도 복잡한 증빙 대사나 맥락 기반의 전문적인 세무 판단을 전적으로 대체하기에는 아직 갈 길이 멀다는 점을 보여줍니다.