先定义什么叫完成
验收标准在启动阶段写进场景确认书，用可观测的行为描述，例如在固定评测集上接管率低于约定阈值、且没有高危错误。避免使用体验好、效率高这类无法验证的表述，也避免验收争议时各说各话。
任务层：模型与流程
看任务成功率、人工接管率、单条处理耗时与错误类型分布。接管率比成功率更能反映真实可用性，因为接管意味着输出无法直接使用。每周记录一次并按版本对比，才看得出改动是否有效，也便于归因。
流程与能力层
流程层看返工率与一次通过率，能力层看客户团队独立完成变更、定位故障与更新评测集的次数。只看任务指标，容易在上线后无人维护时迅速回落，能力层可按季度由客户方技术负责人评估并记录。
评测集要能更新
从真实业务样本中抽取，覆盖常见情形、边界条件与历史错误案例，每季度补充新出现的例外。评测集长期不更新会失真，团队会围绕旧样本调优而忽略新问题，更新要留版本号、变更说明与复现方法。
适用与不适用
适合谁
- 需要在验收会上用数据说话的甲方项目负责人
- 准备把 AI 场景扩到多条业务线的企业
不适合谁
- 要求承诺具体效率提升比例的采购方
典型场景
某物流企业的运单异常识别上线前，双方从近一年工单中抽取样本建立评测集，记录人工基线与模型输出，客服主管逐条复核接管原因。上线后按周统计接管率与错误类型，季度补充新出现的异常类型，指标波动时先查数据与流程再谈模型。
可执行步骤
- 在场景确认书里写明验收指标、统计口径与观测周期，由双方负责人签字
- 从历史业务数据中抽取样本，覆盖常见情形、边界条件以及过去出过错的案例
- 先记录人工处理的基线、耗时与错误类型，作为后续对比的唯一参照并归档留查
- 每周统计一次指标，把偏差按错误类型归因到数据、流程或模型三个方向
常见坑
- 把模型准确率当成唯一指标，忽略接管与复核成本，上线后人力投入反而增加，应同时统计接管原因。
- 评测集由服务方单方准备，样本过于干净，验收数据好看但真实工单仍大量接管，样本应由双方共同抽取。
- 上线后不再统计，指标缓慢回落无人发现，等到业务方抱怨时系统已接近弃用，观测要写进运维职责。
自检与验收清单
- 验收指标是否有明确定义、统计口径与观测周期
- 评测集是否由双方共同抽取，并留存版本与变更说明
- 是否记录了人工处理的基线、耗时与错误类型并归档
- 接管原因是否分类统计，并在固定节奏上复盘归因
常见问题
能不能承诺效率提升多少？
不建议写进合同。效率变化受业务量、人员熟练度与流程配合影响，单方承诺既不可靠也不公平。可行做法是约定观测方法、复盘节奏与扩大范围的条件，用实测数据决定下一步。
指标不好看怎么办？
先分清是数据问题、流程问题还是模型问题。多数接管来自字段缺失与口径不一致，补齐后指标会明显改善；若确认是能力边界，应缩小场景范围，而不是继续调参，调参救不了错场景。
验收不通过怎么处理？
按确认书里的整改条款执行：列出未达标项、归因与整改期限，整改后在同一评测集上复测。若属场景本身不成立，应触发退出评审，避免用延期掩盖判断失误，也便于保留预算。