任务清单要冻结字段

「顺手再加一个字段」看似工作量很小,实际要重新标注、重训与评测,周期按月计算。立项时应把输出字段逐项列出并冻结,新增字段作为独立需求评估;否则每加一个字段,前面的评测结论都要重做,进度永远在原地打转。

天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

数据版本要可追溯

每次训练对应的数据版本、清洗规则与标注人应记录在案。数据在不断补充时,如果没有版本概念,两轮训练之间的差异就说不清,效果波动也无法归因;建议按批次冻结版本,并保留每版的数据统计与变更说明。

许可与合规前置

基座许可、数据来源与个人信息处理方式应在立项阶段核验,而不是训练完成后补。合规问题一旦出现,往往要求重做数据或更换基座,前期投入无法挽回;前置核验的成本很低,却能避免最坏情况,值得坚持。

评测口径一次锁定

评测集、判定规则与盲评流程应在首轮训练前确定,后续版本沿用同一口径。口径一旦中途改变,前后结果无法比较,也无法判断改进是否真实;确需调整时,应保留旧口径的结果作为参照,并说明变更理由。

变更要附代价评估

任何新增场景或字段,都应给出标注量、训练时长与评测成本的粗略估算,再决定是否进入本期。没有代价评估的变更会被无限提出,团队长期处于被动接单状态,主线任务反而被挤压,最终整体交付延期。

适用与不适用

适合谁

  • 需求方多、容易追加字段或场景的微调项目
  • 涉及个人信息或跨境数据的训练任务
  • 已经出现延期迹象的模型交付,需要提前设防

不适合谁

  • 范围已在合同中完全固定且无变更空间的项目
  • 尚未确定任务清单就要求承诺效果的项目

典型场景

某保险公司的理赔文本分类模型在第二个月遇到追加需求:业务方希望增加两个新险种的分类。项目组按变更流程评估,显示需补充标注并重训一次,决定放入二期。同期冻结了字段清单与评测口径,首期按期上线,二期在新一轮预算中立项。

可执行步骤

  1. 立项时逐项列出输出字段与场景,冻结后作为变更基准,双方签字确认,避免事后争议
  2. 按批次冻结数据版本,记录清洗规则、标注人与统计,便于两轮实验复盘归因
  3. 许可、数据来源与个人信息处理在开工前核验并留档,不把核验留到交付前
  4. 首轮训练前锁定评测集、判定规则与盲评流程,后续版本沿用同一口径,结论才可比
  5. 新增字段或语种须附标注量与训练成本评估再决策,不接受口头承诺排期
解决方案与项目开发类目结构示意图
类目示意图:解决方案与项目开发通用流程示意 · 上岸智源

常见坑

  • 字段清单不冻结,每加一个都要重标重训,评测结论反复作废,进度长期停滞;成果始终无法沉淀;经验也无法复制。
  • 数据没有版本概念,两轮训练差异说不清,效果波动只能归因为玄学,团队信心受损;问题也难复现。
  • 许可与合规留到交付前才核验,被迫更换基座或重做数据,前期投入无法挽回;预算很难再批;项目被迫中途停摆。
  • 评测口径中途调整,前后结果不可比,管理层无法判断项目是否真的在进步,投入是否有效也无从判断。
电商仓储与订单处理场景
电商仓储:订单与库存场景自有素材

自检与验收清单

  • 输出字段与场景是否已冻结并签字,是否有人签字
  • 数据版本是否可追溯到具体批次,能否复现训练
  • 许可与合规是否已前置核验,是否留有书面记录
  • 评测集与判定口径是否锁定,是否双方确认过,是否有变更记录
  • 变更是否附标注与训练成本评估,是否附成本估算

常见问题

加一个字段为什么这么贵?

因为要重新标注一批含该字段的样本、重训模型并重跑评测,还要更新推理服务与文档。字段之间往往相互影响,新增字段可能拉低原有字段的准确率,因此必须整体复评,而不是只测新字段。

数据能不能边训边补?

不建议。补充数据应形成新版本并重新训练,而不是在训练过程中混入。混入会让同一轮实验的数据不一致,结果无法复现;按版本管理虽然慢一点,但每次结论都站得住,返工更少。

合规问题一般在哪一步暴露?

常见在交付前的法务或客户安全评审,也可能在数据出境评估环节。越晚暴露代价越大,因此建议在立项材料里就写明数据来源、处理方式与基座许可,让评审提前介入,而不是等到最后签字。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 数据出境安全评估办法 国家互联网信息办公室 · 2022