先有基线再谈提升
上线前把人工流程的处理量、耗时与错误率记录下来，作为对照基线。为什么先有基线：没有基线的汇报只能靠感觉，管理层第一次追问原来是多少就卡住；基线不必精确，但必须同一口径。
使用层看留存不看峰值
首周调用量往往因新鲜感虚高，真正有意义的是第四周仍在使用的人数与人均次数。怎么判断是否真接入：若使用集中在少数几个人身上，说明流程没有真正接入，此时优化模型收效有限。
质量层看接管与错型
一次通过率、人工接管率、错答类型分布三项比单一准确率更能说明问题。为什么这么说：不同错型的代价差别很大，把合同条款答错和把格式答错放在同一个准确率里平均，会掩盖真正需要优先修复的部分。
效率层要扣掉返工
统计单件处理时长时要含复核与返工时间，只算生成耗时会得出漂亮的假结论。怎么做：让一线记录开始与结束时间，按周汇总；返工占比高说明系统只是把工作挪到下游，整体并没有变快。
风险层与收手判据
记录异常工单、投诉与需要人工兜底的次数，并预先约定什么条件下停用或收缩范围。边界在于：我方提供指标与记录，是否达到业务目标由客户方判断；效果受多方因素影响，不接受以单一数字反推投入产出。
适用与不适用
适合谁
- 已上线一到三个月、需要向管理层汇报的项目
- 正在评估是否扩大使用范围的业务部门
- 需要判断继续投入还是收缩的决策场景
不适合谁
- 刚上线不足两周、数据尚不稳定的系统
- 以单次演示效果作为评价依据的评审
典型场景
某制造企业的设备故障问答助手上线六周。运营团队按四层指标每周汇总：第三周起使用人数稳定在维修班组的三分之二，一次通过率与接管率同步记录，单次排查耗时改为含复核时间的口径。第六周发现返工集中在备件型号类问题，据此调整了知识库而非更换模型。
可执行步骤
- 上线前采集人工流程的处理量、耗时与错误率，形成同一口径的基线
- 确定四层指标各自的采集点、责任人与固定的汇总频率、报表格式与口径
- 首月按周观察留存与错型分布，不要用单日峰值判断成败，以免误判
- 统计效率时把复核与返工时间一并计入，按周汇总单件耗时的中位数
- 预先约定收缩或停用的条件，让达标与不达标两种情况都有明确的动作
常见坑
- 只报调用次数与生成条数，管理层追问实际效果时答不上来，第二轮预算评审直接被质疑，项目被迫收缩。
- 基线没有留档，上线后双方对原来多慢各执一词，效果争论取代了改进讨论，几个月过去仍无结论。
- 把返工时间排除在效率统计之外，报表显示快了一倍，一线体感却更累，抵触情绪随之上升。
- 指标由供应商单方统计且不可复核，业务方不认，汇报会上数据被当场推翻，双方信任明显受损。
自检与验收清单
- 是否在上线前采集并留档同一口径的人工基线
- 四层指标是否各有采集点、采集方式与责任人
- 是否按周观察留存与错型分布，而非只看累计总量
- 效率统计是否包含复核、返工与等待时间三项
- 收缩与停用的条件是否事先书面约定并有人确认
常见问题
多久能看出效果？
通常需要覆盖一个完整业务周期，四到八周比较常见。太早看会把波动当成趋势，太晚看则错过调整窗口；建议首月按周看趋势，第二个月起按月看，并在第四周做一次中期判断，决定继续、调整还是收缩。
没有基线数据怎么办？
用回溯方式补：从工单、日志或台账里抽取上线前同一时间段的处理量、耗时与错误记录，按同一口径整理。补不出精确数字时，至少要有区间估计并注明方法，避免把估计值当成实测值对外汇报。
效果不好是不是模型不行？
多数情况不是。常见原因是知识覆盖不足、流程未改、输入质量差或用错场景。排查顺序建议从使用数据与错型分布入手，先看错误集中在哪类问题，再判断是补知识、改流程还是换方案，直接换模型往往解决不了根因。