指标一：任务成功率
以业务定义的成功口径统计，例如一次受理完成、无需返工。为什么用生产数据：验收环境样本有限，真实流量的表达更杂，只有生产数据能反映系统在实际使用中的可用性，这一点验收数据做不到。
指标二：人工接管
统计需要人工接手的会话或单据占比，并按原因分类：模型不确定、缺少知识、权限不足、流程异常。怎么做：接管原因分类比比例本身更有用，它直接指出下一轮该补知识还是改流程，分类口径要与业务事先对齐。
指标三：缺陷复发
跟踪验收阶段登记过的缺陷是否在生产中再次出现，复发即说明修复不彻底或回归不到位。边界：环境差异导致的复发应与实现缺陷区分，前者要补的是环境一致性而非代码，处理方式完全不同。
指标四：定期回归
用同一评测集按固定周期重跑，观察结果波动与退化。为什么必须做：模型版本、知识库内容、业务规则都会变，一次验收通过不等于三个月后仍然成立，退化往往悄无声息，等发现时已过数月，回归结果要留档对照。
观察窗口与结论
上线后设定观察期，期满用同一口径汇总并与验收基线对比，形成书面结论。怎么做：结论里同时写清样本量、统计周期与未覆盖场景，避免用短期数据下长期判断，也避免只报好的一面，结论要能复核。
适用与不适用
适合谁
- 需要向上证明 AI 系统持续可用的负责人
- 上线后问题反复、难以判断是否达标的团队
- 准备进入二期规划、需要数据支撑的项目
不适合谁
- 尚无稳定流量与业务口径的早期系统
- 没有留存评测集、无法做回归的项目
典型场景
某银行远程银行的智能问答上线三个月，运营团队按月统计任务成功率与接管原因。数据显示接管集中在理财产品条款类问题，团队据此补充知识条目并调整转人工规则，第四个月同类接管明显减少，结论写入季度运营报告。
可执行步骤
- 与业务方确认生产环境下的成功判定标准、统计口径以及取数与抽样方式。
- 在系统中埋点记录人工接管的动作、发生时间与原因分类，便于归因。
- 持续跟踪验收阶段登记的缺陷是否在生产中复发，并标注复发的类型。
- 按固定周期用同一评测集做完整回归，留存结果并与历次版本对照。
- 观察期满出具书面结论，写明样本量、统计周期与未覆盖的场景范围。
常见坑
- 只看调用量增长，不看任务成功率与返工情况，数据热闹但业务价值存疑，投入难以证明。
- 接管比例不做原因分类，无法判断该补知识、改权限还是调流程，改进只能靠猜，下一轮仍会重复。
- 上线后从不回归，模型版本或知识库变更导致效果悄悄下滑而无人察觉，直到投诉集中出现。
自检与验收清单
- 人工接管是否记录动作、发生时间与原因分类并留存
- 验收阶段的缺陷是否纳入生产环境的复发跟踪
- 是否有固定周期的评测集回归安排与结果归档
- 回归结果是否与历次版本逐项对照并完整留档
- 结论是否写明样本量、统计周期与未覆盖场景
常见问题
观察期设多长合适？
取决于业务频次：高频场景数周即可积累足够样本，低频场景可能需要一个完整业务周期。关键是事先约定，避免到期后因结论不利而随意延长，让观察期失去约束力，也避免到期后争执。
生产数据和验收数据结论不一致怎么办？
先看差异来源：样本分布、环境版本还是业务规则变化。多数不一致来自验收样本过于干净。应把生产中的失败样本补入评测集，形成滚动更新的评测资产，先统一样本口径再比对。
效果下滑一定要回滚吗？
不一定。先判断是知识过期、模型变更还是流程调整导致。知识类问题补内容即可，模型类问题可通过版本对照确认；只有在无法定位或影响主流程时才考虑回退版本，回退前仍要评估数据影响。