第一段:假设与选点

产出是一页纸:假设句、成功判据、试点单元与不参与范围。如何选点?要包含一个条件中等的单元,避免结论只在理想环境成立。这一段最容易跳过,结果是运行到第三周还在争论到底在验证什么,周会也无法收敛议题。

会场圆桌:学员围桌讨论
圆桌讨论:交流与记录自有素材

第二段:基线与评测集冻结

回溯历史数据形成基线,构建含难例的评测集,连同标注规则一起冻结版本。为什么冻结?因为后续不再改口径,只能在结论中注明局限。临时改评测集,会让前后数据不可比,结论失去效力,也会让团队对结果产生怀疑。

第三段:运行与周度观测

如何开会?每周只看三到五个指标,其余按需查。指标过多会让团队忙于取数,忽略异常。周会固定回答三个问题:指标是否在区间内、出现了哪些新异常、是否需要调整方案。调整要留版本记录,否则事后说不清哪一版在跑。

第四段:结论与扩展决策

按启动时约定的决策门给结论:扩展、调整后重试、或停止。结论要写清适用条件与不适用情形,供其他单元参考。只写成功经验的试点报告,会让下一个单元重复踩同样的坑,管理层也无法判断风险边界。

适用与不适用

适合谁

  • 已立项、需要在季度内出结论的试点
  • 多单元连锁、需要选择代表性试点的企业
  • 准备把试点结论复制到其他部门的管理者

不适合谁

  • 尚未确定验证对象、只想先试试工具的项目
  • 无法冻结评测口径、要求边跑边改目标的项目团队

典型场景

某物流企业验证路径规划建议,第一段定假设与三个线路;第二段冻结基线与含雨雪天气的评测集;第三段每周只看准时率、空驶率与调度改单次数;第四段按决策门判定为调整后重试,原因是改单次数偏高,结论写明了适用线路类型。

可执行步骤

  1. 用一页纸写清假设句、成功判据、试点单元与不参与范围,并让决策人签字
  2. 回溯历史数据形成基线,冻结取数口径与计算方式,并留存过程文件
  3. 构建含难例的评测集,冻结标注规则与版本号,之后不再修改或替换
  4. 每周固定三到五个指标开短会,只讨论区间、异常与是否需要调整方案
  5. 按决策门出结论,写明适用条件、不适用情形以及下一步的验证计划
陪跑、转型与能力转移类目结构示意图
类目示意图:陪跑、转型与能力转移通用流程示意 · 上岸智源

常见坑

  • 边跑边改目标,最后所有指标都能解释为成功,结论无法复用,也会误导后续投入与预算安排。
  • 评测集临时加入表现好的样本,准确率虚高,扩展后回落,团队对数据彻底失去信任,汇报也不被采信。
  • 观测指标列了十几项,团队忙于取数,异常反而漏看,周会变成逐项朗读数据,决策被推迟。
  • 结论只写成绩不写适用条件,复制到其他单元时失效,出了问题责任也说不清在谁、如何补救。
两人在桌前对着电脑讨论方案
商务会谈:方案讨论自有素材

自检与验收清单

  • 一页纸假设与判据是否书面确认并签字,范围清晰
  • 基线与评测集是否冻结版本,并留存过程文件与标注规则
  • 周度指标是否控制在五项以内,聚焦异常而非全面汇报
  • 方案调整是否留版本记录与生效时点,可追溯
  • 结论是否写明适用与不适用条件,以及下一步计划

常见问题

方案中途必须调整怎么办?

允许调整,但要记录调整内容、原因与生效时点,并在结论中分段比较。若调整涉及评测口径,应在报告中标注不可直接比较,建议延长观察期重新积累数据,而不是把两种口径混在一起算。

试点单元选几个合适?

两到三个即可,其中一个应为条件中等或偏难的单元。单元过多会让观测与支持人力分散,反而降低数据质量。若业务差异大,宁可做两轮试点,也不要在第一轮铺太开,否则每处都做不深。

周会要不要业务一把手参加?

不必每周参加,但决策门评审应有其参与或书面授权。周会由业务负责人主持即可,重点是看异常与调整。把一把手拉进周会,容易变成汇报会,讨论深度反而下降,问题也会被压到会后。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. The State of AI: How organizations are rewiring to capture value McKinsey & Company · 2025
  3. 中小企业数字化转型指南 工业和信息化部 · 2022