Mercor 지도, 미국 근로시간 대부분이 AI 벤치마크에서 빠졌다고 추정
Mercor는 AI 평가 기준 29개 표본을 미국 직업별 과업과 비교해 유급 근로시간 대부분의 벤치마크 범위가 제한적이라고 추정했다.
TL;DR
- Mercor는 미국 근로시간의 90%가 자사 지도에 포함된 29개 벤치마크로 충분히 다뤄지지 않는 과업에 해당한다고 밝혔다.
- 회사는 벤치마크 프롬프트를 미 노동부 O*NET 과업 분류에 연결하고 해당 과업에 쓰이는 시간을 추정치와 결합했다.
- 이 결과는 제한된 표본의 벤치마크 범위를 측정한 것으로, 모든 업무에서 AI 성능이나 일자리 감소를 예측하지 않는다.
Mercor는 29개 AI 벤치마크를 미국 노동부 O*NET 과업 분류와 비교한 지도를 공개했다. 회사는 벤치마크가 거의 없거나 전혀 없는 과업이 미국 근로시간의 90%를 차지한다고 추정했다. [1] [2]
분석은 벤치마크 프롬프트를 직업과 과업에 연결한 뒤 각 과업에 노동자가 소비하는 시간 추정치와 결합했다. Mercor는 의미 있는 범위 기준을 충족한 과업이 일부 직업에만 포함됐다고 설명했다. [1]
이 결과는 Mercor가 선택한 벤치마크 표본과 연결 방식에 기반한다. 노동 분류에 포함된 업무 가운데 얼마나 많이 평가 기준으로 다뤄지는지 측정할 뿐 현재 AI가 해당 업무를 수행할 수 있는지를 판정하지 않는다. [1] [2]
회사는 이 지도가 초기 목록이며 범위를 넓힐 계획이라고 밝혔다. 더 많은 벤치마크를 포함하면 90% 추정치가 어떻게 달라질지, 범위가 실제 생산성과 어떻게 연결되는지는 열려 있다. [1] [2]
Why it matters
이 지도는 공개 벤치마크 점수가 전체 업무 가운데 일부만 포괄한다는 점을 보여준다. 제한된 표본의 범위 지표이므로 노동시장 전반의 AI 역량을 직접 측정한 결과로 해석해서는 안 된다.
Editor's note
90% 추정치를 Mercor에 귀속하고, 일자리 영향 예측이 아닌 제한적 벤치마크 범위 분석으로 설명했다.