미국 경제 AI 벤치마크 지도
Mercor는 AI 벤치마크 29개를 미국 직무 과업에 연결하고, 유급 노동시간의 90%가 거의 평가되지 않는다고 추산했다.
TL;DR
- Mercor는 AI 벤치마크 29개를 미국 노동부 O*NET 분류체계의 과업 18,797개와 대조했다.
- 지도에 따르면 923개 직업 중 208개에만 벤치마크 프롬프트가 5개 이상 매핑된 과업이 있고, 유급 노동시간의 약 90%는 평가 범위가 거의 없다.
- 이 추산은 Mercor 자체 방법론에 기반하며 독립적으로 재현되지 않았다.
Mercor는 AI 벤치마크 29개를 미국 노동부 O*NET 분류체계의 과업 18,797개와 대조한 지도를 공개했다. 회사는 모델을 사용해 벤치마크 프롬프트를 직업별 과업에 연결했다고 밝혔다. [1] [2]
지도는 923개 직업 중 208개에 벤치마크 프롬프트가 5개 이상 연결된 과업이 있다고 집계한다. 유급 노동시간의 약 90%가 벤치마크가 없거나 평가 범위가 매우 적은 과업에 해당한다는 추산도 제시했다. [1] [2]
RuntimeWire는 이 지도가 흔히 인용되는 모델 벤치마크와 더 넓은 업무 과업 간 격차를 드러낸다고 설명했다. Mercor는 전문가 데이터와 평가 서비스를 공급하는 사업자이기도 하므로 회사가 직접 작성한 측정치라는 맥락을 고려해야 한다. [1] [2]
이 수치는 벤치마크의 과업 포괄 범위를 나타내며 AI가 수행할 수 있거나 수행할 수 없는 일자리 비율을 뜻하지 않는다. 방법론과 추산은 독립적으로 재현되지 않았고, 지도만으로 직장 내 도입이나 일자리 대체를 측정할 수 없다. [1] [2]
Why it matters
AI 평가에서 측정 공백이 있음을 보여주지만 회사가 작성한 추산은 자동화나 노동시장 영향의 측정치가 아니라 벤치마크 목록으로 읽어야 한다.
Editor's note
TODO-review: 벤치마크·O*NET 표기 검토. Mercor 추산은 자기 보고이며 RuntimeWire 보도는 독립 재현이 아님.