同一批任务做前后对照

从近三个月的历史任务里抽一批有代表性的样本,转移前由我方执行、转移后由客户执行,用同一套判定标准评分。样本要覆盖常规单与异常单,只挑顺手的任务,指标必然虚高,评审时也站不住脚。

酒店大堂的前台与灯光
酒店大堂:服务与接待场景自有素材

四个硬指标

独立完成率看无顾问介入的比例,一次通过率看返工多少,升级频次看遇到问题是否只能找顾问,复核耗时看资深人员还要花多少时间兜底。四项要一起看,单项好看没有意义,还可能掩盖真实问题。

知识资产能否自维护

检查客户是否能自行修改提示词、补充知识条目、跑评测集并读懂结果。能改但不敢改,说明文档与权限没到位;改完不回测,说明评测流程还没建立,知识会随时间过期,回答质量也会慢慢下滑,最后又回到人工兜底。

验收看证据链

验收会摆三样东西:任务抽样清单与评分表、升级与处理日志、评测集复跑结果。没有证据链时,满意度高也只说明关系好,不能说明能力已经真正转移到客户团队手里,后续复评也无从比较,只能重新测一遍。

适用与不适用

适合谁

  • 准备在合同里约定移交节点的甲方项目负责人
  • 需要向管理层证明自建团队可独立运营的部门
  • 已有历史任务记录、可以抽样的场景

不适合谁

  • 没有任务记录、只能凭印象评价的项目

典型场景

某物流企业的异常件处理场景在移交前抽了六十条历史工单,由我方与客户各跑一遍并按同一评分表判定。差异集中在时效口径与赔付条款引用,团队据此补了两页判断示例,两周后复跑,返工明显减少,客户才同意进入观察期。

可执行步骤

  1. 从近三个月历史任务中按类型分层抽样,覆盖常规单与异常单,并留好原始清单
  2. 用同一评分表分别记录转移前后的结果,注明判定人与判定时间,避免事后补记
  3. 统计四项指标,把每处差异归因到知识缺口或口径分歧,再决定补哪一块
  4. 检查提示词、知识条目与评测集能否由客户自行维护,并要求当场演示一次
陪跑、转型与能力转移类目结构示意图
类目示意图:陪跑、转型与能力转移通用流程示意 · 上岸智源

常见坑

  • 只统计成功单,异常单被排除在样本外,指标自然虚高;抽样时要按任务类型分层,并保留原始清单
  • 把满意度问卷当验收依据,出问题后无法定位,也无法说明能力是否真的留下,复评时只能重做一遍
  • 移交后不再复跑评测集,知识过期无人发现,半年后回答质量整体下滑,用户也开始绕开系统,最后只能重新整理一遍知识库
团队在便利贴墙前讨论工作坊
工作坊:团队共创与拆解自有素材

自检与验收清单

  • 抽样样本是否同时覆盖常规任务与异常任务,并留存清单
  • 评分表与判定口径是否在转移开始前定稿并签字
  • 升级与处理日志是否完整,能否按任务号逐条回查
  • 评测集能否由客户独立复跑,并读懂结果与差异

常见问题

能不能给一个达标分数线?

不建议设统一分数线。不同场景的基线差异很大,合理做法是转移前先测一次基线,再约定不低于基线的目标区间,并在验收会上用同一评分表复测,避免事后各说各话,也便于下一轮复评比较。

指标由谁统计?

建议双方各统计一遍再对齐,差异超过约定范围就回看原始记录。单方统计容易出现口径漂移,尤其是异常单是否计入、返工如何定义这两处,往往要吵很久才能定下来,提前写清定义最省事。

转移后效果下降怎么办?

先分清是能力问题还是场景变化:业务规则改了、上游数据变了,都会让原指标失效。约定复评机制,按季度回看一次并记录变化原因,比在验收时争一个数字更有用,也更容易向管理层解释。

参考来源

  1. 中小企业数字化转型指南 工业和信息化部 · 2022
  2. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  3. 中国信通院发布《中国数字经济发展研究报告(2024年)》 中国信息通信研究院(浙江省经信厅网站转载) · 2024