先定四种结局

试点不该只有成功与失败。更有用的划分是停止、暂停、转常规与扩展:假设不成立就停,条件不具备就暂停,小范围可持续就转常规,可复制再扩展。为什么先定:结局类型决定要收集哪些证据。启动文件里为每种结局写一句判定条件与后续动作即可。

两人在桌前对着电脑讨论方案
商务会谈:方案讨论自有素材

质量门槛怎么定

可用的门槛包括人工复核通过率、转人工比例、单条处理时长、错误类型分布,以及严重错误是否为零。为什么不能只看一个指标:拦截率高但误拦多,只是把成本转给人工。先列三类零容忍的严重错误,再定常规质量线;边界是不承诺具体数值,门槛由双方按场景基线商定。

组织与合规硬条件

复核人缺位、决策人不参与、数据审批未过、生成内容未按制度标识,都属于硬条件不满足。为什么单列:这些问题不会因为模型变好而消失。写成启动前检查项,未通过就不进入跑数阶段;边界是合规判断由客户方合规与法务确认,我方只提供材料与说明。

到期评审的固定议程

退出评审要有固定议程:数据回顾、错误清单、成本与人力核算、四类结局选择、后续动作与责任人。为什么要固定:临场讨论容易被最近的个案带偏。会前三天发材料,判定人必须到场,结论当场记录;边界是陪跑方给建议,不代替客户做投资与立项决定。

退出也要交接

无论哪种结局都要交接:知识条目、评测集、提示词与配置、复核记录、未解决问题清单。为什么重要:停止的试点也应留下可复用的判断。合同里约定交接清单、时限与接收人;边界是数据删除与留存按客户制度执行,涉密资料不带走、不留副本。

适用与不适用

适合谁

  • 已批准试点但没写结论规则的项目
  • 担心试点无限期拖延的预算负责人
  • 需要向管理层交代去留决策的业务负责人

不适合谁

  • 希望用试点证明既定结论、不接受停止选项的管理者
  • 无法在启动前确定判定人与评审议程的组织

典型场景

某企业的人力共享中心试点做了三个月,临近到期仍无人敢说结论。陪跑团队补了一份退出评审表:把严重错误、复核通过率、单据积压与人员投入列成四栏,由中心负责人、财务与信息部门共同判定。结论是转常规但缩到两类单据,其余回到人工,未解决问题写成下一阶段清单。

可执行步骤

  1. 在启动前写下四类结局,以及每一类结局对应的判定条件与后续动作
  2. 约定质量门槛、严重错误清单与统计口径,并在正式跑数前书面固定
  3. 把复核人、判定人与合规检查,列为启动前必须逐项通过的三类条件
  4. 到期前一周发出完整评审材料,按固定议程开退出评审会,当场记录
  5. 按评审结局执行交接或扩展,并把未解决问题逐条登记成下阶段清单
陪跑、转型与能力转移类目结构示意图
类目示意图:陪跑、转型与能力转移通用流程示意 · 上岸智源

常见坑

  • 启动时只写目标不写退出条件,到期后各方按各自立场表态,项目只能靠惯性继续投入人力。
  • 只看拦截率不看误拦与人工复核成本,指标漂亮但总工时没有下降,结论经不起财务追问。
  • 退出评审由项目组自评,缺少业务与财务参与,结论无法支撑下一年的资源决策,也难服众。
  • 试点停止后资料散落在个人电脑,下一次试点从零开始,把踩过的坑再踩一遍,时间成本翻倍。
酒店大堂的前台与灯光
酒店大堂:服务与接待场景自有素材

自检与验收清单

  • 四类结局与判定条件是否在启动前逐项书面确认
  • 质量门槛、严重错误清单与统计口径是否明确
  • 判定人是否到场,且有权决定继续、暂停或停止
  • 交接清单、交接时限与接收人是否事先书面约定
  • 未解决问题是否逐条形成下一阶段的任务清单

常见问题

试点没达到目标,算失败吗?

只要按约定收集了证据并得出结论,就不算失败。试点的作用是用较小代价判断该不该继续,停止一个不成立的假设同样是有价值的产出;真正浪费的是到期没有结论、靠惯性继续投入,把资源锁在一个没人敢决断的项目里。

门槛定多少合适?

不建议照搬外部数字。先测当前人工基线与错误分布,再定一个明显优于基线且人工可承受的区间,并把口径写清:样本范围、统计周期、严重错误如何计。门槛应在跑数前固定,中途不因结果不利而调整。

谁来拍板停止?

由启动文件里指定的判定人拍板,通常是业务负责人加预算归属人,陪跑方只提供证据与建议。若判定人缺位,应先补授权再评审;由项目组自行宣布停止或扩展,后续往往难以获得资源支持。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023