10 道真实职场题考两代 Kimi,新一代全胜,但两代都没学会说「这个我不确定」。
律师、医生、券商、HR、编辑……题目由从业者出,每题附 6–10 个互相打架的附件,限时 4 小时。Kimi K3.1 Pro 的平均分从上一代的 37.4 涨到 60.5,估算成本也翻了一倍多。
同一个模型(Kimi K3.1 Pro),
为什么当律师反而比当 HR 的分数高出一倍?
先看两个分数。同一个模型 Kimi K3.1 Pro,律师题拿了 75 分,HR 题只拿了 37.3 分。
律师题要它站在买方角度审阅一套英文云服务合同,交五份英文修订稿和一份中文谈判说明。HR 题要它给一位酒店销售新人做岗位适配分析、30 天培训计划和 KPI 考核表。
按常理,前者门槛高得多。结果正好反过来:律师题的关键检查项它全部写对;HR 题 8 条关键项只写对 2 条,还花了 3 个半小时。
这篇文章想回答的就是这个问题:AI 离一个靠谱同事,到底差在哪。答案藏在 10 道题的判分记录里,最后一节我们再回到律师和 HR。
我们怎么考的:题目里故意埋了雷
很多 AI 职场测评的题面,已经把做法写好了:读这个文件、算这个指标、按这个格式出表。这样测到的是执行,测不到判断。
我们的题反过来。每道题给 6–10 个附件,材料之间故意互相打架:埋点记录和事件日期对不上,统计计划和题面口径差一个字,待办清单是过期的,邮件里的金额没说含不含税。真实工作里,发现这些才是专业的那一半。
每题配 28–43 条检查项,分 critical、important、nice-to-have 三档,另设一票否决的红线,比如泄露个人敏感信息。裁判模型在沙箱里真的打开交付的 Word 和 Excel,逐条判。
两个选手:Kimi K3 与 Kimi K3.1 Pro,同一个 agent 框架(claude-code),同样 4 小时,每题跑一次。右上角为附件数。
成绩单:新一代全胜,离满分还远
K3.1 Pro 在 10 道题上全部高于 K3,critical 与一票否决项的满足率从 56% 升到 73%。
提升最大的是法学(+30.8)、律师(+24.7)和编辑(+24.5)。拆到检查项看,进步主要来自把数字、口径和法定条件写对。
按优先级看,提升最大的是 important 项(46% → 71%):关键结论写对之后,新一代在细节和完整度上明显更好。律师题就是典型,两代的 critical 项都全部满足,分差 24.7 分全部来自 important 和 nice-to-have 项。
五种职场翻车
分数说明谁更强,翻车说明 AI 离一个靠谱同事还差什么。下面五个,前四个主要出自 K3,最后一个两代都没躲过。
01 拿户籍评价候选人
要给一位候选人做岗位适配分析时,K3 把应聘者的户籍和居住地写进了岗位评价依据,被检查项判为「不该写」。K3.1 Pro 没有犯这个错。
这是本次测评里最该引起警惕的一条。招聘里的地域偏见是老问题。如果把简历初筛交给 AI,这个老问题仍可能出现,而且不容易被察觉。
02 把内部批注发到了公众号上
编辑题要交一篇可以直接进入品牌审核和排版的公众号终审稿。K3 的正文里留着这类给内部同事看的话,也没有标出这些段落不进正文。
K3.1 Pro 的做法是对的:标题、导语、正文、图注只写读者看得懂的内容,补证、复核、授权确认全部放进单独标注的内部附录和核验表。
03 自己的表,加起来都对不上
| 指标 | 源表复算 | K3 写的 |
|---|---|---|
| 成交 | 58 单 | 59 单 |
| 回款 | 1,103,528 元 | 1,184,098 元 |
| 回款率 | 65.1% | 69.9% |
HR 题按源表复算是 168 条线索、成交 58 单。K3 在多处写成 59 单,回款和回款率也跟着错。
更尴尬的是它自己的两张表在打架。数字错了还能说是看漏了;自己的表对不上,交出去就是事故。K3.1 Pro 抽查的数字都与源表一致。
04 平均数的陷阱
- 学校周边 7.4%
- 交通枢纽 7.2%
- 产业园区 7.1%
- 学校周边 8.16%
- 产业园区 7.27%
- 交通枢纽 (排其后)
经营分析题要按场景比较门店利润率。正确口径是场景合计,K3 用的是门店利润率的简单平均,整张场景排序跟着错。
K3.1 Pro 七个场景的数都和源表复算一致,还在表下注明了「非门店简单平均」。这正是一个有经验的分析师会顺手写上的那行小字。
05 两代都学不会的一句话:「这个我不确定」
最有意思的发现是:两个模型常常挂在同一条 critical 检查项上,这些检查项几乎都在问同一件事:你有没有说清楚边界?
| 题目 | 应该指出的事 | K3 | K3.1 Pro |
|---|---|---|---|
| 产品经理 | 埋点缺失记录与同日事件互相冲突 | ✗ | ✗ |
| HR | 30 天评估只是试用期内的阶段评估;四档阈值有重叠 | ✗ | ✗ |
| 西医医生 | 统计计划写「均值和标准误」,题面要「均值和标准差」 | ✗ | ✗ |
| 法学 | 不同规制范式之间是互补还是竞合 | ✗ | ✗ |
新一代数字算对了更多,凭空编的东西也少了:「写了不该写的」负向检查项,K3 触发 5 次,K3.1 Pro 2 次。但它仍然很少主动说「这两份材料矛盾」「这个结论成立有前提」。
在真实的工作里,这往往是资深的人和新人之间最大的区别。
更聪明,也更「能吃」
按估算,10 道题的总成本从约 $129 涨到约 $289,是原来的 2.2 倍。
K3.1 Pro 的单价比 K3 低三成多,但读的东西是 K3 的 4 倍多,单价省下的钱被用量吃掉了。好在分数涨得也多:总成本翻了 2.2 倍,每一分 rubric 的成本只从约 $0.34 涨到约 $0.48。
查看作答明细
| Kimi K3 | Kimi K3.1 Pro | |
|---|---|---|
| 平均耗时 | 101 分钟 | 147 分钟 |
| 平均轮数 | 41 | 122 |
| 输入 token(10 题合计) | 21.0M | 86.0M |
| 输出 token(10 题合计) | 490k | 1,128k |
K3.1 Pro 做 HR 题用了 217 分钟、约 $52,拿了 37.3 分:三个半小时,给一位销售新人排一份 30 天入职计划,及格线都没摸到。同一个模型做品牌建设题,46 分钟交卷,拿到全场最高的 75.5 分。堆时间和 token,并不总能换来分数。
为什么 AI 当律师比当 HR 强?
回到开头的问题。律师是门槛最高的岗位之一,HR 常被当成「软」岗位,分数却正好反过来。
我们的理解是,决定难度的是工作的形状,跟岗位名气关系不大。
律师题的规矩写在纸上:合同条款、买方立场、修订稿格式,都有成熟的惯例可循,两代的差距主要在细节和完整度。HR 题要五份文件里的数字处处一致,还要知道哪些事情没有写在任何材料里:30 天评估在试用期里算什么,报到当天要办哪些手续,四档考核阈值重叠了怎么办。
这类「没人告诉你、但干过的人都知道」的判断,很难从公开语料里学到。它只存在于做过这份工作的人脑子里。这也是我们请一线从业者出题的原因:题面里埋的每一个冲突,都是他们真实踩过的坑。
AI 已经会干活了。
下一步,是学会像一个靠谱的同事那样干活。
它能在两个小时里审完一套英文合同,交出七份文件。但要它在交稿前说一句「这两份材料对不上,我先标出来」,还没那么容易。
关于这次测评
- 样本小:10 道题,每题每个模型只跑 1 次。交付题单次分数波动较大,结论应读作方向,而非精确差值。
- LLM 裁判:逐条判分由 gpt-5.6-sol 完成,每条都有可查的判分理由,但小差距不宜过度解读。
- 执行环境:Harbor + Daytona 沙箱,agent 为 claude-code 2.1.280,两个模型相同,做题时限 4 小时。
- 成本:按给定单价和缓存命中率 90% 估算,非实际账单。
