第一层:交付物

结业时逐项检查任务卡、评测集、运行手册与接管记录是否齐全,是否能让没参与的第三方读懂。缺项的实训不论现场多热闹都无法在业务里维持,这一层在结业当天就能判定,判定成本也最低,不必等三个月。

会场舞台:讲师与背景大屏
会场舞台:授课现场自有素材

第二层:还在跑的任务

三十天后回访,统计真正进入日常的任务数量与周执行次数,并核对执行人是否是业务方而非工程师。现场跑通的任务通常有一部分会停,停下来的原因比数量更有价值,要逐条记录是数据缺失、权限不足,还是没人会用。

第三层:接管原因

把接管记录按知识缺失、权限不足、模型判断错、流程例外四类归因,看每月结构如何变化。归因结构从判断错转向例外处理,说明团队在用而不是在试;若长期停在判断错,说明知识库与评测集还没做到位。

第四层:复现能力

给接手人一个同类新任务,观察其能否独立写出任务卡、跑通并完成验收,过程中不提供口头指导。能复现说明方法留下了;只能维护原任务,说明交付的是系统而不是能力,后续每个新需求都要重新找人。

边界:不承诺倍数

实训效果受业务量、数据质量与人员稳定性影响,任何以倍数或比例承诺收益的说法都不可靠。评价应给出继续、加码或停止的判断建议,写明结论的适用条件与不适用场景,由客户结合经营情况决策。

适用与不适用

适合谁

  • 刚完成一轮实训、需要向管理层交代的负责人
  • 正在比较多家实训服务商、要看证据的企业
  • 准备把实训纳入年度计划的人力部门

不适合谁

  • 希望用一次打分决定所有结论的评审方式
  • 把满意度问卷当作唯一效果证据的组织

典型场景

某物流企业在结业当天验收交付物,第三十天回访在跑任务,第九十天让两名接手人独立完成一条新任务。三轮证据显示一条任务稳定、两条停用,停用原因分别是数据缺失与无人接管,据此决定只扩展稳定那条,其余两条等权限打通后再评估。

可执行步骤

  1. 结业当天按清单验收四类交付物,缺项当场记录,并约定补齐时间与责任人
  2. 第三十天回访任务执行次数、执行人与停用原因,由客户方系统导出数据并签字
  3. 把接管记录按四类原因归因,比较前后两个月的原因结构是否从判断错转向例外
  4. 第九十天安排一次复现测试,由接手人独立完成,交付方不在场也不提示
  5. 出具继续、加码或停止的书面建议,写明判断依据与适用条件,交由客户方决策
方法、团队与训练营类目结构示意图
类目示意图:方法、团队与训练营通用流程示意 · 上岸智源

常见坑

  • 只用结业满意度打分,看不出三个月后的真实状态;满意度只能作过程反馈,权重应降到最低,不能当验收依据
  • 指标由授课方自评,缺少客户方记录,结论难以服人;执行次数与接管记录都应由客户方系统导出
  • 没有基线,无法判断变化来自实训还是季节波动;开训前先记录两周的原始执行数据作为对照,再谈变化
  • 把停用一律当失败,忽略数据与权限原因;停用原因不同,下一步的改进动作完全不同,判断也会走偏
俯拍桌面与协作中的团队
团队协作:电脑与文件自有素材

自检与验收清单

  • 交付物清单是否逐项签收,并记录缺项与补齐时间
  • 是否约定第三十天与第九十天的两次回访及取数方式
  • 接管记录是否按四类原因分类,并逐月统计结构
  • 复现测试是否由接手人独立完成,交付方未在场指导
  • 结论是否写成建议并注明适用条件,而非效果承诺

常见问题

满意度问卷还有用吗

有用但只能作为过程反馈,不能当效果证据。问卷反映的是现场体验,与三个月后是否还在用几乎无关。建议保留,但把权重降到最低,把回访记录与复现结果作为主要依据。

多久能看出效果

三十天看是否还在跑,九十天看能否复现。更短的周期只能看到演示,更长的周期会混入岗位调整与人员变动。两个节点足够做一次判断,也便于安排下一轮资源与预算,不必每周都评估。

效果不好能退款吗

取决于合同约定,通常以里程碑交付物为验收依据而不是效果承诺。签约前把交付物、验收方式与回访节点写清,比事后讨论效果更有效,也能减少双方在结项时的理解偏差。

参考来源

  1. The State of AI: How organizations are rewiring to capture value McKinsey & Company · 2025
  2. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  3. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023