同一批任务做前后对照
从近三个月的历史任务里抽一批有代表性的样本,转移前由我方执行、转移后由客户执行,用同一套判定标准评分。样本要覆盖常规单与异常单,只挑顺手的任务,指标必然虚高,评审时也站不住脚。

四个硬指标
独立完成率看无顾问介入的比例,一次通过率看返工多少,升级频次看遇到问题是否只能找顾问,复核耗时看资深人员还要花多少时间兜底。四项要一起看,单项好看没有意义,还可能掩盖真实问题。
知识资产能否自维护
检查客户是否能自行修改提示词、补充知识条目、跑评测集并读懂结果。能改但不敢改,说明文档与权限没到位;改完不回测,说明评测流程还没建立,知识会随时间过期,回答质量也会慢慢下滑,最后又回到人工兜底。
验收看证据链
验收会摆三样东西:任务抽样清单与评分表、升级与处理日志、评测集复跑结果。没有证据链时,满意度高也只说明关系好,不能说明能力已经真正转移到客户团队手里,后续复评也无从比较,只能重新测一遍。
适用与不适用
适合谁
- 准备在合同里约定移交节点的甲方项目负责人
- 需要向管理层证明自建团队可独立运营的部门
- 已有历史任务记录、可以抽样的场景
不适合谁
- 没有任务记录、只能凭印象评价的项目
典型场景
某物流企业的异常件处理场景在移交前抽了六十条历史工单,由我方与客户各跑一遍并按同一评分表判定。差异集中在时效口径与赔付条款引用,团队据此补了两页判断示例,两周后复跑,返工明显减少,客户才同意进入观察期。
可执行步骤
- 从近三个月历史任务中按类型分层抽样,覆盖常规单与异常单,并留好原始清单
- 用同一评分表分别记录转移前后的结果,注明判定人与判定时间,避免事后补记
- 统计四项指标,把每处差异归因到知识缺口或口径分歧,再决定补哪一块
- 检查提示词、知识条目与评测集能否由客户自行维护,并要求当场演示一次
常见坑
- 只统计成功单,异常单被排除在样本外,指标自然虚高;抽样时要按任务类型分层,并保留原始清单
- 把满意度问卷当验收依据,出问题后无法定位,也无法说明能力是否真的留下,复评时只能重做一遍
- 移交后不再复跑评测集,知识过期无人发现,半年后回答质量整体下滑,用户也开始绕开系统,最后只能重新整理一遍知识库

自检与验收清单
- 抽样样本是否同时覆盖常规任务与异常任务,并留存清单
- 评分表与判定口径是否在转移开始前定稿并签字
- 升级与处理日志是否完整,能否按任务号逐条回查
- 评测集能否由客户独立复跑,并读懂结果与差异
常见问题
能不能给一个达标分数线?
不建议设统一分数线。不同场景的基线差异很大,合理做法是转移前先测一次基线,再约定不低于基线的目标区间,并在验收会上用同一评分表复测,避免事后各说各话,也便于下一轮复评比较。
指标由谁统计?
建议双方各统计一遍再对齐,差异超过约定范围就回看原始记录。单方统计容易出现口径漂移,尤其是异常单是否计入、返工如何定义这两处,往往要吵很久才能定下来,提前写清定义最省事。
转移后效果下降怎么办?
先分清是能力问题还是场景变化:业务规则改了、上游数据变了,都会让原指标失效。约定复评机制,按季度回看一次并记录变化原因,比在验收时争一个数字更有用,也更容易向管理层解释。
