选场景:高频且可收敛

优先挑发生频率高、输入格式相对稳定、错误代价可控的任务。为什么不是挑最难的场景:试点要回答的是能不能用,而不是极限在哪;难度过高时失败原因无法归因,是数据不够、模型不行还是流程没改,说不清就等于白做。

机房内工程师检查设备
部署场景:机房与交付自有素材

假设要写成可判定句

把提升效率改写成在同样工单量下单件处理时间的中位数下降,且错误率不上升。为什么必须可判定:含指标、范围、基准与时间窗,试点结束时才有明确的通过与不通过,而不是各说各话。

设对照,别只看前后

同期找一组未使用系统的同类任务作对照,或做前后各两周的同口径对比。为什么不能只看前后:前后对比会把季节性与人员变化混进结论;对照组要在同一业务同一时段,并记录构成差异。

样本量与观察期

样本太少,任何波动都能被解释成成功或失败。怎么做:覆盖一个完整业务周期,每类任务至少积累到能看出错型分布的量;观察期跨过月末、周报或排班轮转,结论才不会被单一时点带偏。

先定停止与扩围条件

试点开始前就写明什么情况暂停、什么情况扩围,并约定谁有权决定。边界在于:判断由客户方业务负责人做,我方提供数据与说明;把退出条件写清楚,试点不成功时双方也不必陷入长时间的拉扯。

适用与不适用

适合谁

  • 准备投入建设前、需要先验证可行性的企业
  • 有多条候选场景、需要排序取舍的团队
  • 愿意按事先约定判据下结论的决策者

不适合谁

  • 已经承诺上线日期、试点只是走流程的项目
  • 无法提供真实任务样本与真实使用人员的场景

典型场景

某物业公司的报修工单分类场景做试点。团队把假设写成「单件录入时间中位数下降且错分率不升」,选两个片区做对照,一个用系统一个维持原流程,观察期六周并跨过一次月末结算。第五周数据显示漏分类集中在弱电类,试点组据此补了知识条目,第六周由运营总监决定扩围。

可执行步骤

  1. 先把候选场景按发生频率、输入稳定性与错误代价三项打分,再排序
  2. 把假设写成同时含指标、适用范围、比较基准与时间窗的可判定句子
  3. 选一组同类任务作对照,同时记录两组的人员构成与任务构成上的差异
  4. 确定样本量、观察期与跨周期的安排,主动避开业务大促与长假前后
  5. 书面约定暂停与扩围的具体条件,并明确由谁在什么时点上做出判断
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 挑最难的场景做试点,失败后无法归因,团队得出 AI 不适合自己的结论,实际只是场景选错。
  • 没有对照组,前后数据又被季节性拉高,结论站不住,扩围后指标回落,管理层对项目失去信心。
  • 范围在试点过程中不断加需求,观察期被拉长两次,最后既没有拿到可靠结论,也没能按期收尾。
  • 试点团队由各部门抽调骨干组成,成绩漂亮但日常岗位复制不了,扩围后效果明显回落,投入被质疑。
工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

自检与验收清单

  • 场景是否按频率、稳定性与错误代价排序后选定
  • 假设是否同时含指标、范围、比较基准与时间窗
  • 是否设有同期对照组,并记录两组人员与任务构成
  • 观察期是否覆盖一个完整业务周期并避开大促
  • 暂停与扩围的条件是否已书面化,并明确决策人

常见问题

试点要花多久?

准备两到三周,运行四到六周,复盘一周,整体按两个月左右安排比较常见。时间主要花在找样本、对齐口径和等一个业务周期上,不在技术本身;把准备阶段压缩掉,运行阶段往往要返工,总时长反而更长。

试点一定要设对照组吗?

条件允许时建议设,尤其是效果容易受季节与人员变化影响的业务。实在无法设对照,至少做前后各两周的同口径对比,并记录期间的人员、政策与流程变化,在结论里注明这些干扰因素。

试点不成功怎么收场?

按事先约定的停止条件退出,把样本、观测记录与结论整理成一页说明,写清失败发生在哪个环节、什么条件下可能成立。失败结论同样有价值:它避免了一次更大的错误投入,也为下一次选题提供依据。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. 住房城乡建设部关于发布国家标准《建设工程工程量清单计价规范》的公告(GB 50500-2013) 住房和城乡建设部 · 2012