先有假设才有试点

假设要写成可证伪的句子,例如在订单量中等的三个网点,模型初筛能把差异单占比降到某个区间。写不出假设的试点,最后只能汇报做了哪些事,无法回答是否有效。假设也决定样本怎么选、指标怎么定,以及什么时候可以停。

两人在桌前对着电脑讨论方案
商务会谈:方案讨论自有素材

基线决定能否比较

启动前记录现有做法的耗时、差错与返工数据,作为对照基线。没有基线的试点,结束后无法判断改善来自工具还是季节与人员变化。基线如何取?通常回溯一到三个月的历史记录,并冻结口径,避免中途换算法重算。

评测集要包含难例

评测集不能只放顺利的样本,要按比例纳入历史争议、边界与异常案例。只测顺样本的试点会在扩展后迅速失守。评测集与标注口径要冻结版本,否则后期改标准会让结论无法比较,前期的数据也失去参考价值。

扩展决策门提前定

试点开始前就写清:达到什么条件扩展、什么条件调整后重试、什么条件停止。决策门要具体到指标与观察期,避免结束时临时找理由。为什么必须提前定?否则试点容易变成长期小范围运行,资源被持续占用却始终不给结论。

适用与不适用

适合谁

  • 有明确业务假设、希望在有限范围验证的团队
  • 能回溯历史数据、建立基线的企业
  • 需要在季度内给管理层一个结论的项目

不适合谁

  • 目标尚未确定、只想先试试工具的项目
  • 要求一次覆盖全公司、不接受分阶段的组织

典型场景

某连锁企业想验证门店补货建议是否可用,选三个门店做试点:假设是缺货率与调拨次数同时改善;基线取过去三个月数据;评测集纳入促销与断货两类难例;决策门设为连续四周指标达标且店长接受度不低于约定水平。八周后只有部分达标,改为调整建议粒度后重试。

可执行步骤

  1. 把业务想法写成一句可证伪的假设,并写明成功判据与观察周期长度
  2. 选两到三个有代表性的试点单元,其中一个应为条件中等或偏难的单元
  3. 回溯历史数据建立基线,冻结统计口径与取数方式,并留存完整计算过程
  4. 构建含难例的评测集,确定标注规则、难例比例与版本冻结时点,并同步给评审人
  5. 启动前写明扩展、重试与停止三类决策门,并由决策人书面确认签字
陪跑、转型与能力转移类目结构示意图
类目示意图:陪跑、转型与能力转移通用流程示意 · 上岸智源

常见坑

  • 没有假设只有目标,试点结束只能汇报过程,无法判断是否有效,也无法决定下一步投入。
  • 选点只挑配合度最高的部门,结论在推广时全面失效,还被质疑为数据美化与选择性验证。
  • 评测集只放顺利样本,扩展后遇到异常场景集中出错,返工成本远高于试点本身的投入与时间成本。
  • 决策门临时定,达标与否取决于谁参会,试点拖成常态运行,资源长期被占用却不给结论。
酒店大堂的前台与灯光
酒店大堂:服务与接待场景自有素材

自检与验收清单

  • 是否有一句可证伪的假设,以及明确的判据与观察周期
  • 选点是否包含条件中等或偏难的单元,而非只看配合度
  • 基线是否冻结口径与取数方式,并留存计算过程
  • 评测集是否含难例,并有公开的标注规则与冻结版本号
  • 三类决策门是否在启动前书面确认签字,并有决策人

常见问题

试点要做多久?

通常六到十二周,取决于业务周期长度。至少要覆盖一个完整业务周期,例如月度结算或一次促销。短于一个周期,指标受偶发因素影响大,结论不稳定,扩展到其他单元时容易被推翻。

试点一定要做对照组吗?

有条件时最好做同期对照;条件不允许时可用试点前后对比加历史基线,但要说明季节性等干扰因素。无论哪种,都要在启动前确定比较方法,避免结束后挑一个好看的口径,导致结论无法复核。

试点失败是不是白花钱?

不是,只要假设明确、数据完整,失败结论同样有价值:它告诉你哪类场景不适合当前条件。真正浪费的是没有基线与决策门的试点,因为结束后无法形成任何可复用的判断,还会消耗团队信心。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中小企业数字化转型指南 工业和信息化部 · 2022
  3. The 2025 AI Index Report Stanford Institute for Human-Centered AI (HAI) · 2025