负责人要有调度权

试点负责人不是项目经理的别名,而是要能调动业务人员、拍定范围、决定暂停。为什么调度权关键:没有调度权的负责人只能传话,遇到排期冲突就让步,试点通常按时开始、无限延期。

工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

使用者必须来自真实岗位

参与试点的使用者应是该岗位的日常在岗人员,而不是临时抽调的业务骨干。为什么骨干会失真:他们的判断力与熟练度高于平均,结果系统性偏乐观;真实岗位才会暴露输入不规范的问题。

标注人决定样本质量

谁来判断一条输出是对是错,直接决定评测结论。标注人应由熟悉该项工作的资深人员担任,并事先对齐判定口径;不同标注人分歧较大的样本要单独记录,这批样本往往正是系统能力的真实边界所在。

观察记录员要独立

让使用者自己记录效果,通常只留下印象最深的部分。怎么做:设一个不参与操作的观察员,按日记录卡点、绕行做法与临时处置,成本很低却很有效,这类记录是解释指标波动的第一手材料。

决策委员会只做三件事

定判据、听结论、决定扩围或停止。委员会不参与日常操作,也不在过程中改需求,否则试点会变成多方拉锯。边界在于:委员会由客户方组成并拥有决定权,我方提供数据、说明与建议,不代替其判断。

适用与不适用

适合谁

  • 跨部门试点、需要协调多方时间的项目
  • 试点结果要用于立项决策与预算申请的团队
  • 首次做 AI 验证、不清楚该如何组队的团队

不适合谁

  • 单人在自己岗位上试用某个工具的情形
  • 仅做技术可行性验证、不涉及业务决策的试验

典型场景

某商业银行在手机银行智能问答上做试点。运营部指定一名负责人统一调度,客服从两个真实班组中各抽三人参与,知识运营岗担任标注人,信息中心出一名接口人,另设一名质检员做观察记录。六周后委员会依据记录与样本判定表决定扩围到全部客服班组。

可执行步骤

  1. 先定试点负责人,书面明确其对人员调度、范围调整与暂停的决定权
  2. 从真实在岗人员中挑选参与者,覆盖新手与老手,避免整组抽调骨干
  3. 指定标注人并事先对齐判定口径,把分歧较大的样本单独记录下来归档
  4. 安排一名不参与操作的观察员,按日记录卡点、绕行做法与临时处置
  5. 委员会在开工前定判据,结束时只做扩围、调整或停止三类决定,不改需求
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 由项目经理兼任试点负责人却没有调度权,人员排期一拖再拖,试点跑成三个月,样本也被稀释。
  • 使用者全是业务骨干,结果看起来很漂亮,换成普通员工后使用率不到三成,扩围计划被迫中止。
  • 让使用者自己记录效果,记录里往往只剩抱怨与亮点,缺少中间过程,指标一波动就无法解释原因。
  • 委员会在试点中途改判据、加指标,前期积累的样本口径全部失效,收尾时不得不重跑一轮验证。
仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

自检与验收清单

  • 试点负责人是否有书面授权,可决定暂停与调整范围
  • 参与者是否来自真实在岗岗位,并包含新手与老手
  • 标注人是否已对齐判定口径,并把分歧样本单独记录
  • 观察员是否独立于实际操作,并按日留下文字记录
  • 委员会是否只在开工前定判据、结束时做扩围决策

常见问题

试点需要专职人员吗?

通常不需要全员专职,但负责人与观察员最好各留出固定时间。负责人每周投入一两天处理协调与决策,观察员每天半小时记录即可;若两者都由使用者兼任,判断与记录会互相干扰,结论可信度随之下降。

业务部门不配合怎么办?

先把配合事项具体化:需要谁、在什么时间、做什么、占用多久,写成一行一行的清单发给对方负责人。多数不配合源于事项模糊而非态度;仍推不动时,交由委员会层面的决策人协调,避免项目组反复催问。

小团队可以一人多角吗?

可以合并,但要避免自己验证自己。使用者与标注人可以由同一人兼任,观察员与决策人则应由不同的人承担;哪怕只有三个人,也要做到记录与判断分离,否则结论只是参与者的一种自我评价。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. The State of AI: How organizations are rewiring to capture value McKinsey & Company · 2025
  3. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023