90% 的工作时间，AI 评测根本没覆盖到

一张把评测和工作对上的地图

AI 评测这两个字，这两年几乎是按周在长。但一个问题一直没人认真回答：这些题目，到底考的是不是人们真正在干的活？

数据公司 Mercor 做了一件很笨但有用的事：拿美国劳工部的 O*NET 数据库做底——它把美国劳动力分成 923 种职业、22 个大类，每种职业再拆成具体任务，合计 18797 项。然后把这些年能收到的 AI 评测题目逐条映射上去，索引里放了 924 条评测。

结果是这样的：18797 项任务里，被覆盖的有 924 项；按职业算，只有 208 种职业（共 923 种）拥有至少一道「同一任务有 5 条以上题目」的评测；22 个职业大类里，有 6 个连一种这样的职业都没有。

覆盖不是均匀的，它跟着钱走

地图的分区很说明问题。计算机与数学类，36 种职业里有 29 种有覆盖；商业与金融 48 种里覆盖 33 种；社区服务 14 种里覆盖 10 种；法律 7 种里覆盖 5 种。而医疗从业者 89 种职业只有 12 种有覆盖，教育与图书馆 62 种里只有 9 种，销售 22 种里只有 6 种，办公室与行政 51 种里只有 21 种。

Mercor 对此的解释是：AI 社区在优先攻最大的劳动力市场。他们用 BLS 的平均工资乘从业人数估出每种职业的年工资总额，做回归分析后发现：一项任务被评测覆盖的概率，和它所属职业的工资总额、以及这项任务的「AI 暴露度」都正相关——职业工资总额越大、越被认为容易被 AI 触及，就越可能有人给它出题。

于是他们给出了那个刺眼的结论：美国 90% 的工作时间，花在现有评测几乎没有覆盖的任务上。这意味着我们其实无从判断模型在「美国人真正在干的活」上到底有多强。

这对采购决策意味着什么

对企业来说，这戳破了一个常见幻觉：拿榜单分数当选型依据。分高只说明模型在覆盖的那一小块上表现好；而企业要用的那些环节——跨部门对账、跟供应商扯皮、处理历史遗留单据、跟客户解释为什么这件做不了——恰恰是覆盖率最低的区域。

更麻烦的是，覆盖率低的地方往往也是「正确性最难定义」的地方：写一段排序算法，对错是客观的；判断一份合同的付款条款有没有风险，对错取决于立场。前者能出标准题，后者出不了，评测于是绕开了它。

所以现实的做法应该反过来：先在自己的业务里划出高频、高价值、结果可判定的任务，自己攒一套小评测。不用多，每个环节二十到五十条真实样本，带标准答案，跑起来能对比。这套东西的价值远高于任何公开榜单，因为它考的是你自己的活。

小团队的实际做法

小团队资源有限，更难承担选错模型的代价。可行顺序是：先列出团队最耗时间的三类任务，从历史项目里各抽二十条真实案例（脱敏），把「什么样的输出算合格」写成明确的判定条件，然后拿两三个候选模型跑一遍，人工评分。

这件事通常一两天就能做完，但它能把「感觉这个模型挺聪明」变成「这个模型在我们这类需求上的合格率是 78%」。它还有个用处：团队内部对齐「什么叫做好」，写判定条件的过程往往比评测结果更有价值。