핵심 요약
- 미국 노동 시장 업무의 90%가 현존하는 주요 AI 벤치마크에서 제대로 평가되지 않는다는 연구 결과가 나왔습니다.
- AI 벤치마크가 변호사, 개발자 등 임금 총액이 큰 일부 고소득 전문직에만 편중되어 대다수 실무 직무의 실제 AI 성능은 알기 어렵기 때문입니다.
- 923개 직업 중 AI 벤치마크 평가를 거친 직업은 208개에 불과해 실제 노동 경제와의 괴리가 크다는 지적입니다.
요약 AI 모델의 성능을 측정하는 벤치마크 테스트들이 미국 전체 노동 시장에서 실제로 수행되는 업무의 극히 일부만을 다루고 있다는 연구 결과가 발표되었습니다. AI 인재 채용 플랫폼 머코(Mercor)가 발표한 '미국 경제 벤치마크 맵' 연구에 따르면, 미국인들의 전체 노동 시간 중 약 90%는 현존하는 주요 AI 벤치마크가 전혀 다루지 않거나 거의 평가하지 못하는 업무 영역에 쓰이고 있는 것으로 나타났습니다.
머코 연구진은 미국 노동부의 O*NET 직업 분류 체계(총 923개 직업군, 1만 8,797개 세부 업무)와 엄선된 29개의 고품질 AI 벤치마크 데이터를 매핑하여 실제 노동 대비 벤치마크의 커버리지를 분석했습니다. 분석 결과, 최소 5개 이상의 벤치마크 프롬프트로 평가받는 업무를 하나라도 포함하고 있는 직업군은 923개 중 208개에 불과했습니다. 또한 22개 전체 직업군 중 6개 직업군은 벤치마크에서 단 하나의 업무도 제대로 커버되지 않는 것으로 조사되었습니다.
특히 연구진은 AI 벤치마크가 시장 규모와 임금 총액이 매우 큰 특정 직종에만 심각하게 편중되어 있다고 지적했습니다. 일례로 고연봉 전문직인 변호사의 업무는 AI 벤치마크에서 집중적으로 다뤄지고 있지만, 유사하게 AI 노출도가 높은 법률 비서나 법원 서기의 업무는 벤치마크 프롬프트가 거의 전무했습니다. 컴퓨터·수학, 금융, 법률 등 고액 연봉 시장 위주로만 성능 측정이 쏠려 있으며, 미국 경제의 허리를 담당하는 대다수 중위소득 지식 노동 및 실무 업무는 사실상 평가의 사각지대에 놓여 있다는 설명입니다. 이로 인해 현재 공개되는 AI 벤치마크 수치만으로는 실제 현실 경제에서 AI가 인간 노동을 얼마나 대체하거나 보조할 수 있는지 파악하기 어렵다는 한계가 드러났습니다.
Sponsored · 광고