大模型前沿数据任务对标注系统的挑战

1. 交付周期紧：项目通常需要在需求提出后的 3 天内完成交付（T+3），留给方案设计、实施和验证的时间十分有限。

2. 需求变化快：任务的大类相对固定，但具体要求每次都会调整，例如评估维度、数据生产流程、交付字段等，既有方案难以直接复用。

3. **质量反馈不及时：**随着模型能力的增强，专家完成一道题目通常需要投入至少 2-4 小时，审核难度也相应提升，审核意见可能要到次日才能返回。较长的反馈周期增加了试错成本，也容易影响专家后续提交的积极性。

AI 驱动的数据生产方式升级

针对交付周期紧、需求变化快、质量反馈不及时等挑战，我们将 AI 深度融入产线设计、数据生产和质量检查全过程，推动数据生产从“依赖人工经验”向“人机协同、智能生产”转变。

AI 辅助搭建，缩短产线准备周期

从“人工重复开发”转向“AI 辅助生成”。

• 把依赖个人经验的产线搭建方法转化为标准流程，让 AI 快速复用，减少重复工作。
• 让AI来辅助方案设计，同时方案也让AI容易理解
• 由 AI 辅助完成数据表设计、生产流程配置和工作界面生成。
• 沉淀可复用的数据检查与内容生成能力，由 AI 根据项目需求快速组合。

AI 灵活编排，快速响应需求变化

从“修改一处、改造全局”转向“稳定底座、灵活配置”。

• 建立可灵活组合的通用能力，减少需求变化带来的重复开发。
• 对模型配置、效果评估和数据运行情况进行统一管理，持续优化生产效果。

AI 全程质检，加快质量反馈

从“完成后集中审核”转向“生产过程中及时检查”。

• 在数据填写和提交过程中，由 AI 及时检查如文本清晰度、文件格式和目录规范等基础问题。
• 提供 AI 辅助自检和内容生成工具，减少重复性人工检查，让专家聚焦专业判断。
• 将长流程拆分为多个阶段，AI 在每个阶段提供检查和修改建议，帮助专家逐步完善数据，同时提升人审的效率。
• 自动生成清晰的质量检查报告，帮助专家快速定位问题、准确修改。

AI 与自动化在数据生产全流程中的应用

AI 参与产线设计、开发实施、质量保障、运行诊断、数据加工和交付检查等环节。同时，通过标准化工具承接重复性操作，形成 AI 辅助决策、自动化执行、人工最终把关的协作模式。

产线方案设计

AI 辅助完成前期方案设计，降低对个人经验的依赖。

• 生产流程设计：根据项目需求梳理整体生产流程，形成设计文档。
• 工作界面设计：辅助设计标注界面及交互方式，形成界面方案。
• 数据结构设计：辅助规划数据表及字段结构，形成数据结构方案。

开发与配置

将设计方案转化为可以实际使用的生产工具。

• 数据表配置：根据数据结构方案创建或更新数据表。
• 工作界面生成：自动生成基础版本的标注界面，再由工程人员调整确认。
• 生产流程配置：配置数据提交、处理和状态变化等自动化流程。

发布与质量保障

在系统上线前，通过 AI 和自动化工具降低代码与配置错误带来的风险。

• 代码审查：辅助判断代码是否符合合入要求，并提出修改建议。
• 规范检查：检查代码和配置是否符合既定接口及开发规范。
• 自动化部署：通过标准化工具发起部署，减少人工操作和发布差错。

运行问题诊断

系统出现异常时，辅助工程人员快速定位问题。

• 影响范围分析：通过云平台工具获取运行日志，分析异常可能影响的任务和数据范围。
• 错误原因排查：结合线上错误日志，辅助定位问题发生的环节和可能原因。

数据加工与质量检查

模型直接参与数据生产和质量控制。

• 数据合成：根据项目要求辅助生成或加工数据。
• 自动质量检查：按照既定标准检查数据问题，输出检查结果报告，供专家进一步判断。

交付前综合检查

从单条数据检查进一步扩展到整批数据检查。

• 批量 AI 复核：AI 从整批数据的视角进行扫描，发现单条审核中不易识别的内容雷同、表达模板化、数据分布异常和前后标准不一致等整体性问题。
• 问题定位与修正：自动汇总问题并定位相关数据，辅助工作人员在交付前集中复核和修正，降低批量性质量风险。