真实场景，无法合成

每一条专家数据，都来自真实且对口的工作场景。
题面从哪来、谁做的、怎么做的，都有 Proof of Work。

数据来源

同样叫「专家数据」，来源差得很远

数据有没有价值，取决于题面背后有没有真实且对口的工作经验。

常见做法

拿现成文件，反推出题

workspace / files

report.xlsxmain.pyspec.pdf

↓ 没有工作经验的学生 + 非领域专家反推「这原本是什么任务？」

题面合成Rubric合成Ground truth直接用文件

任务是猜出来的，标准是合成的。真实工作里的意图和取舍，从文件里还原不出来。

智能知识的两种方式

专家出题面，AI 再调

专家：题目的核心判断AI：润色表述，已标注

专家从自己的工作出发出题，AI 只辅助表述和格式，哪里用了 AI 都如实标出。

经验来自专家

采集真实任务，专家回访还原

真实工作流 · 任务支付系统上线前安全评审✓ ground truth

→

题目答案

题面直接来自真实工作场景，自带 ground truth。再由当初负责这项工作的专家回访背景，还原场景和解题逻辑。

题面来源可追溯

普通人挑不出错，不等于有经济价值。

数据结构

一条数据，
每一层都有证据

四层结构，每一层是谁做的、哪里用了 AI，都有对应的 Proof of Work。

题面

来源记录真实性评判出题培训记录

Rubric

评分维度依据审核返修日志

COT

Expert Walkthrough关键步骤截图

参考答案

Edit HistoryVote 裁决记录

题面来源

好题面，从真实工作里来

两条路径，最终汇成同一个可追溯的题面。

审核留痕

每一次返修，都写清改了什么、为什么

审核与返修日志不只记录状态。专家每次返修都会补充说明：这道题的考点是什么、自己的 golden solution 思路是什么。

数据档案 #1195软件开发 · 代码安全

3轮审核2次返修8条留痕

示例数据已脱敏 · 审核员以编号展示

专家讲解

Expert Walkthrough，
听专家讲清思路

在部分项目中，专家会为自己的作答录制讲解：本题考点是什么、golden solution 的思路、为什么这样判断。

交专家 E-185381软件开发 · 正式工 3–5 年数据档案 #1195

本题考点「这道题考的是模型能不能识别出拼接 SQL 的注入风险——线上系统里最常见、也最容易被忽略的漏洞。」

00:0001:42

示例讲解已转写为文字 · 音频为示意

Proof of Work

我们的 Proof of Work

五类证据，覆盖从出题到交付的每一步。

Expert Walkthrough

专家讲解做题思路

关键步骤截图

做题过程中的关键节点

v2 → v3存在注入风险。id 直接拼接进 SQL

Edit History

每一版改动可回看

一轮待返修

二轮待返修

三轮通过

审核与返修日志

附专家的考点与思路

✓✓✗

2 : 1 裁决通过

Vote 裁决记录

分歧如何被裁定

足够透明，才有置信度

100%