米国の労働時間の90%、AIベンチマークがほとんどカバーしていないタスクに費やされている
90% of US working hours are spent on tasks not covered well by AI benchmarks
Mercorの調査によると、米国の923職種のうち208職種のみが5つ以上のベンチマークプロンプトでカバーされており、22の職種ファミリーのうち6つは全くカバーされていない。これにより、米国の労働時間の約90%がAIベンチマークでほとんどカバーされていないタスクに費やされていることが示唆される。ベンチマークはAI露出度の高いタスクや賃金総額の大きい職種に偏っており、経済的に重要なモデル能力の評価に大きな盲点が生じている。
我々の発見は、米国の労働時間の90%が、既存のベンチマークではほとんどあるいは全くカバーされていないタスクに費やされていることを示唆している。