返回文章列表

AI 离「靠谱同事」还差什么

齐梓安发布于2026年11月6日
返回文章列表

AI 离「靠谱同事」还差什么

齐梓安发布于2026年11月6日

10 道真实职场题考两代 Kimi,新一代全胜,但两代都没学会说「这个我不确定」。

律师、医生、券商、HR、编辑……题目由从业者出,每题附 6–10 个互相打架的附件,限时 4 小时。Kimi K3.1 Pro 的平均分从上一代的 37.4 涨到 60.5,估算成本也翻了一倍多。

样本:10 题 × 2 模型 × 1 次
律师
站在买方角度审阅一套英文云服务合同,交 7 份谈判用文件
75/ 100
关键检查项 6/6 全部写对用时 110 分钟
HR
给一位酒店销售新人排 30 天入职培训计划和 KPI 考核表
37/ 100
关键检查项只写对 2/8用时 217 分钟

同一个模型(Kimi K3.1 Pro),
为什么当律师反而比当 HR 的分数高出一倍?

10/10K3.1 Pro 得分高于 K3 的题数
37.4 → 60.5rubric 平均分(0–100)
56% → 73%关键检查项满足率
$129 → $28910 题估算成本合计

先看两个分数。同一个模型 Kimi K3.1 Pro,律师题拿了 75 分,HR 题只拿了 37.3 分。

律师题要它站在买方角度审阅一套英文云服务合同,交五份英文修订稿和一份中文谈判说明。HR 题要它给一位酒店销售新人做岗位适配分析、30 天培训计划和 KPI 考核表。

按常理,前者门槛高得多。结果正好反过来:律师题的关键检查项它全部写对;HR 题 8 条关键项只写对 2 条,还花了 3 个半小时。

这篇文章想回答的就是这个问题:AI 离一个靠谱同事,到底差在哪。答案藏在 10 道题的判分记录里,最后一节我们再回到律师和 HR。

我们怎么考的:题目里故意埋了雷

很多 AI 职场测评的题面,已经把做法写好了:读这个文件、算这个指标、按这个格式出表。这样测到的是执行,测不到判断。

我们的题反过来。每道题给 6–10 个附件,材料之间故意互相打架:埋点记录和事件日期对不上,统计计划和题面口径差一个字,待办清单是过期的,邮件里的金额没说含不含税。真实工作里,发现这些才是专业的那一半。

每题配 28–43 条检查项,分 critical、important、nice-to-have 三档,另设一票否决的红线,比如泄露个人敏感信息。裁判模型在沙箱里真的打开交付的 Word 和 Excel,逐条判。

两个选手:Kimi K3 与 Kimi K3.1 Pro,同一个 agent 框架(claude-code),同样 4 小时,每题跑一次。右上角为附件数。

成绩单:新一代全胜,离满分还远

K3.1 Pro 在 10 道题上全部高于 K3,critical 与一票否决项的满足率从 56% 升到 73%。

每道题都往右挪了,HR 挪得最少
rubric 分(0–100),按 K3.1 Pro 得分排序
Kimi K3Kimi K3.1 Pro
来源:智能知识评测集。

提升最大的是法学(+30.8)、律师(+24.7)和编辑(+24.5)。拆到检查项看,进步主要来自把数字、口径和法定条件写对。

进步主要来自把东西写对
检查项满足率,按维度。统计范围为两个模型都有逐条判分的 9 道题
来源:智能知识评测集。

按优先级看,提升最大的是 important 项(46% → 71%):关键结论写对之后,新一代在细节和完整度上明显更好。律师题就是典型,两代的 critical 项都全部满足,分差 24.7 分全部来自 important 和 nice-to-have 项。

五种职场翻车

分数说明谁更强,翻车说明 AI 离一个靠谱同事还差什么。下面五个,前四个主要出自 K3,最后一个两代都没躲过。

01 拿户籍评价候选人

负向检查项写了不该写的
岗位适配度分析报告 · 示意
评价依据:户籍、居住地
岗位适配看能力和经历,户籍与居住地不应进入评价依据。
K3.1 Pro:未触发

要给一位候选人做岗位适配分析时,K3 把应聘者的户籍和居住地写进了岗位评价依据,被检查项判为「不该写」。K3.1 Pro 没有犯这个错。

这是本次测评里最该引起警惕的一条。招聘里的地域偏见是老问题。如果把简历初筛交给 AI,这个老问题仍可能出现,而且不容易被察觉。

02 把内部批注发到了公众号上

检查项正文内部指令清理
园区用能升级专题稿_发布终审版.docx · 示意
请品牌审核组与排版环节重点复核
面向内部同事的操作指令,留在了拟公开的正文里。

编辑题要交一篇可以直接进入品牌审核和排版的公众号终审稿。K3 的正文里留着这类给内部同事看的话,也没有标出这些段落不进正文。

K3.1 Pro 的做法是对的:标题、导语、正文、图注只写读者看得懂的内容,补证、复核、授权确认全部放进单独标注的内部附录和核验表。

03 自己的表,加起来都对不上

criticalR14 数字来源与材料一致性
指标源表复算K3 写的
成交58 单59 单
回款1,103,528 元1,184,098 元
回款率65.1%69.9%
它自己的 KPI 基线表里,各月成交单数加起来正好是 58,和合计行矛盾。

HR 题按源表复算是 168 条线索、成交 58 单。K3 在多处写成 59 单,回款和回款率也跟着错。

更尴尬的是它自己的两张表在打架。数字错了还能说是看漏了;自己的表对不上,交出去就是事故。K3.1 Pro 抽查的数字都与源表一致。

04 平均数的陷阱

检查项场景最终利润率排序
K3 · 门店简单平均
  1. 学校周边 7.4%
  2. 交通枢纽 7.2%
  3. 产业园区 7.1%
正确 · 场景合计口径
  1. 学校周边 8.16%
  2. 产业园区 7.27%
  3. 交通枢纽 (排其后)
口径一换,产业园区和交通枢纽的位置就对调了。

经营分析题要按场景比较门店利润率。正确口径是场景合计,K3 用的是门店利润率的简单平均,整张场景排序跟着错。

K3.1 Pro 七个场景的数都和源表复算一致,还在表下注明了「非门店简单平均」。这正是一个有经验的分析师会顺手写上的那行小字。

05 两代都学不会的一句话:「这个我不确定」

最有意思的发现是:两个模型常常挂在同一条 critical 检查项上,这些检查项几乎都在问同一件事:你有没有说清楚边界?

critical两代共同未满足
题目应该指出的事K3K3.1 Pro
产品经理埋点缺失记录与同日事件互相冲突✗✗
HR30 天评估只是试用期内的阶段评估;四档阈值有重叠✗✗
西医医生统计计划写「均值和标准误」,题面要「均值和标准差」✗✗
法学不同规制范式之间是互补还是竞合✗✗

新一代数字算对了更多,凭空编的东西也少了:「写了不该写的」负向检查项,K3 触发 5 次,K3.1 Pro 2 次。但它仍然很少主动说「这两份材料矛盾」「这个结论成立有前提」。

在真实的工作里,这往往是资深的人和新人之间最大的区别。

更聪明,也更「能吃」

按估算,10 道题的总成本从约 $129 涨到约 $289,是原来的 2.2 倍。

K3.1 Pro 的单价比 K3 低三成多,但读的东西是 K3 的 4 倍多,单价省下的钱被用量吃掉了。好在分数涨得也多:总成本翻了 2.2 倍,每一分 rubric 的成本只从约 $0.34 涨到约 $0.48。

最贵的一份工作 $52、37 分;最快交卷的拿了最高分
每个点是一道题的一次作答:横轴为估算成本,纵轴为 rubric 分
Kimi K3Kimi K3.1 Pro
来源:智能知识评测集。成本按给定单价估算,非实际账单。
查看作答明细
Kimi K3Kimi K3.1 Pro
平均耗时101 分钟147 分钟
平均轮数41122
输入 token(10 题合计)21.0M86.0M
输出 token(10 题合计)490k1,128k

K3.1 Pro 做 HR 题用了 217 分钟、约 $52,拿了 37.3 分:三个半小时,给一位销售新人排一份 30 天入职计划,及格线都没摸到。同一个模型做品牌建设题,46 分钟交卷,拿到全场最高的 75.5 分。堆时间和 token,并不总能换来分数。

为什么 AI 当律师比当 HR 强?

回到开头的问题。律师是门槛最高的岗位之一,HR 常被当成「软」岗位,分数却正好反过来。

critical 正向检查项,满足了几条

我们的理解是,决定难度的是工作的形状,跟岗位名气关系不大。

律师题的规矩写在纸上:合同条款、买方立场、修订稿格式,都有成熟的惯例可循,两代的差距主要在细节和完整度。HR 题要五份文件里的数字处处一致,还要知道哪些事情没有写在任何材料里:30 天评估在试用期里算什么,报到当天要办哪些手续,四档考核阈值重叠了怎么办。

这类「没人告诉你、但干过的人都知道」的判断,很难从公开语料里学到。它只存在于做过这份工作的人脑子里。这也是我们请一线从业者出题的原因:题面里埋的每一个冲突,都是他们真实踩过的坑。

AI 已经会干活了。
下一步,是学会像一个靠谱的同事那样干活。

它能在两个小时里审完一套英文合同,交出七份文件。但要它在交稿前说一句「这两份材料对不上,我先标出来」,还没那么容易。

关于这次测评

  • 样本小:10 道题,每题每个模型只跑 1 次。交付题单次分数波动较大,结论应读作方向,而非精确差值。
  • LLM 裁判:逐条判分由 gpt-5.6-sol 完成,每条都有可查的判分理由,但小差距不宜过度解读。
  • 执行环境:Harbor + Daytona 沙箱,agent 为 claude-code 2.1.280,两个模型相同,做题时限 4 小时。
  • 成本:按给定单价和缓存命中率 90% 估算,非实际账单。

10 道真实职场题考两代 Kimi,新一代全胜,但两代都没学会说「这个我不确定」。

律师、医生、券商、HR、编辑……题目由从业者出,每题附 6–10 个互相打架的附件,限时 4 小时。Kimi K3.1 Pro 的平均分从上一代的 37.4 涨到 60.5,估算成本也翻了一倍多。

样本:10 题 × 2 模型 × 1 次
律师
站在买方角度审阅一套英文云服务合同,交 7 份谈判用文件
75/ 100
关键检查项 6/6 全部写对用时 110 分钟
HR
给一位酒店销售新人排 30 天入职培训计划和 KPI 考核表
37/ 100
关键检查项只写对 2/8用时 217 分钟

同一个模型(Kimi K3.1 Pro),
为什么当律师反而比当 HR 的分数高出一倍?

10/10K3.1 Pro 得分高于 K3 的题数
37.4 → 60.5rubric 平均分(0–100)
56% → 73%关键检查项满足率
$129 → $28910 题估算成本合计

先看两个分数。同一个模型 Kimi K3.1 Pro,律师题拿了 75 分,HR 题只拿了 37.3 分。

律师题要它站在买方角度审阅一套英文云服务合同,交五份英文修订稿和一份中文谈判说明。HR 题要它给一位酒店销售新人做岗位适配分析、30 天培训计划和 KPI 考核表。

按常理,前者门槛高得多。结果正好反过来:律师题的关键检查项它全部写对;HR 题 8 条关键项只写对 2 条,还花了 3 个半小时。

这篇文章想回答的就是这个问题:AI 离一个靠谱同事,到底差在哪。答案藏在 10 道题的判分记录里,最后一节我们再回到律师和 HR。

我们怎么考的:题目里故意埋了雷

很多 AI 职场测评的题面,已经把做法写好了:读这个文件、算这个指标、按这个格式出表。这样测到的是执行,测不到判断。

我们的题反过来。每道题给 6–10 个附件,材料之间故意互相打架:埋点记录和事件日期对不上,统计计划和题面口径差一个字,待办清单是过期的,邮件里的金额没说含不含税。真实工作里,发现这些才是专业的那一半。

每题配 28–43 条检查项,分 critical、important、nice-to-have 三档,另设一票否决的红线,比如泄露个人敏感信息。裁判模型在沙箱里真的打开交付的 Word 和 Excel,逐条判。

两个选手:Kimi K3 与 Kimi K3.1 Pro,同一个 agent 框架(claude-code),同样 4 小时,每题跑一次。右上角为附件数。

成绩单:新一代全胜,离满分还远

K3.1 Pro 在 10 道题上全部高于 K3,critical 与一票否决项的满足率从 56% 升到 73%。

每道题都往右挪了,HR 挪得最少
rubric 分(0–100),按 K3.1 Pro 得分排序
Kimi K3Kimi K3.1 Pro
来源:智能知识评测集。

提升最大的是法学(+30.8)、律师(+24.7)和编辑(+24.5)。拆到检查项看,进步主要来自把数字、口径和法定条件写对。

进步主要来自把东西写对
检查项满足率,按维度。统计范围为两个模型都有逐条判分的 9 道题
来源:智能知识评测集。

按优先级看,提升最大的是 important 项(46% → 71%):关键结论写对之后,新一代在细节和完整度上明显更好。律师题就是典型,两代的 critical 项都全部满足,分差 24.7 分全部来自 important 和 nice-to-have 项。

五种职场翻车

分数说明谁更强,翻车说明 AI 离一个靠谱同事还差什么。下面五个,前四个主要出自 K3,最后一个两代都没躲过。

01 拿户籍评价候选人

负向检查项写了不该写的
岗位适配度分析报告 · 示意
评价依据:户籍、居住地
岗位适配看能力和经历,户籍与居住地不应进入评价依据。
K3.1 Pro:未触发

要给一位候选人做岗位适配分析时,K3 把应聘者的户籍和居住地写进了岗位评价依据,被检查项判为「不该写」。K3.1 Pro 没有犯这个错。

这是本次测评里最该引起警惕的一条。招聘里的地域偏见是老问题。如果把简历初筛交给 AI,这个老问题仍可能出现,而且不容易被察觉。

02 把内部批注发到了公众号上

检查项正文内部指令清理
园区用能升级专题稿_发布终审版.docx · 示意
请品牌审核组与排版环节重点复核
面向内部同事的操作指令,留在了拟公开的正文里。

编辑题要交一篇可以直接进入品牌审核和排版的公众号终审稿。K3 的正文里留着这类给内部同事看的话,也没有标出这些段落不进正文。

K3.1 Pro 的做法是对的:标题、导语、正文、图注只写读者看得懂的内容,补证、复核、授权确认全部放进单独标注的内部附录和核验表。

03 自己的表,加起来都对不上

criticalR14 数字来源与材料一致性
指标源表复算K3 写的
成交58 单59 单
回款1,103,528 元1,184,098 元
回款率65.1%69.9%
它自己的 KPI 基线表里,各月成交单数加起来正好是 58,和合计行矛盾。

HR 题按源表复算是 168 条线索、成交 58 单。K3 在多处写成 59 单,回款和回款率也跟着错。

更尴尬的是它自己的两张表在打架。数字错了还能说是看漏了;自己的表对不上,交出去就是事故。K3.1 Pro 抽查的数字都与源表一致。

04 平均数的陷阱

检查项场景最终利润率排序
K3 · 门店简单平均
  1. 学校周边 7.4%
  2. 交通枢纽 7.2%
  3. 产业园区 7.1%
正确 · 场景合计口径
  1. 学校周边 8.16%
  2. 产业园区 7.27%
  3. 交通枢纽 (排其后)
口径一换,产业园区和交通枢纽的位置就对调了。

经营分析题要按场景比较门店利润率。正确口径是场景合计,K3 用的是门店利润率的简单平均,整张场景排序跟着错。

K3.1 Pro 七个场景的数都和源表复算一致,还在表下注明了「非门店简单平均」。这正是一个有经验的分析师会顺手写上的那行小字。

05 两代都学不会的一句话:「这个我不确定」

最有意思的发现是:两个模型常常挂在同一条 critical 检查项上,这些检查项几乎都在问同一件事:你有没有说清楚边界?

critical两代共同未满足
题目应该指出的事K3K3.1 Pro
产品经理埋点缺失记录与同日事件互相冲突✗✗
HR30 天评估只是试用期内的阶段评估;四档阈值有重叠✗✗
西医医生统计计划写「均值和标准误」,题面要「均值和标准差」✗✗
法学不同规制范式之间是互补还是竞合✗✗

新一代数字算对了更多,凭空编的东西也少了:「写了不该写的」负向检查项,K3 触发 5 次,K3.1 Pro 2 次。但它仍然很少主动说「这两份材料矛盾」「这个结论成立有前提」。

在真实的工作里,这往往是资深的人和新人之间最大的区别。

更聪明,也更「能吃」

按估算,10 道题的总成本从约 $129 涨到约 $289,是原来的 2.2 倍。

K3.1 Pro 的单价比 K3 低三成多,但读的东西是 K3 的 4 倍多,单价省下的钱被用量吃掉了。好在分数涨得也多:总成本翻了 2.2 倍,每一分 rubric 的成本只从约 $0.34 涨到约 $0.48。

最贵的一份工作 $52、37 分;最快交卷的拿了最高分
每个点是一道题的一次作答:横轴为估算成本,纵轴为 rubric 分
Kimi K3Kimi K3.1 Pro
来源:智能知识评测集。成本按给定单价估算,非实际账单。
查看作答明细
Kimi K3Kimi K3.1 Pro
平均耗时101 分钟147 分钟
平均轮数41122
输入 token(10 题合计)21.0M86.0M
输出 token(10 题合计)490k1,128k

K3.1 Pro 做 HR 题用了 217 分钟、约 $52,拿了 37.3 分:三个半小时,给一位销售新人排一份 30 天入职计划,及格线都没摸到。同一个模型做品牌建设题,46 分钟交卷,拿到全场最高的 75.5 分。堆时间和 token,并不总能换来分数。

为什么 AI 当律师比当 HR 强?

回到开头的问题。律师是门槛最高的岗位之一,HR 常被当成「软」岗位,分数却正好反过来。

critical 正向检查项,满足了几条

我们的理解是,决定难度的是工作的形状,跟岗位名气关系不大。

律师题的规矩写在纸上:合同条款、买方立场、修订稿格式,都有成熟的惯例可循,两代的差距主要在细节和完整度。HR 题要五份文件里的数字处处一致,还要知道哪些事情没有写在任何材料里:30 天评估在试用期里算什么,报到当天要办哪些手续,四档考核阈值重叠了怎么办。

这类「没人告诉你、但干过的人都知道」的判断,很难从公开语料里学到。它只存在于做过这份工作的人脑子里。这也是我们请一线从业者出题的原因:题面里埋的每一个冲突,都是他们真实踩过的坑。

AI 已经会干活了。
下一步,是学会像一个靠谱的同事那样干活。

它能在两个小时里审完一套英文合同,交出七份文件。但要它在交稿前说一句「这两份材料对不上,我先标出来」,还没那么容易。

关于这次测评

  • 样本小:10 道题,每题每个模型只跑 1 次。交付题单次分数波动较大,结论应读作方向,而非精确差值。
  • LLM 裁判:逐条判分由 gpt-5.6-sol 完成,每条都有可查的判分理由,但小差距不宜过度解读。
  • 执行环境:Harbor + Daytona 沙箱,agent 为 claude-code 2.1.280,两个模型相同,做题时限 4 小时。
  • 成本:按给定单价和缓存命中率 90% 估算,非实际账单。
返回

更多博客