选任务:三个筛子

高频、边界清楚、错了能兜住,三条同时满足再动手。三条只满足一条的任务,通常会在写卡阶段发现无法定义输出,白费时间;可以先列五到八个候选,用三个筛子逐条打分,选最高分的那个先做,别贪全覆盖。

会场舞台:讲师与背景大屏
会场舞台:授课现场自有素材

写卡:先写接管

多数人先写提示词,正确顺序是先写判断点与接管条件,再定输出格式。接管条件写不出来,说明这个任务还不该交给模型,或者责任还没谈清;先写接管的另一个好处是,业务方必须参与,不能全丢给工程。

试跑:三类样本

正常样本、边界样本、应拒答样本各准备五条以上,看卡面是否够用。只跑正常样本,会在真实业务里被边界情况打穿;试跑记录要写清哪条样本触发了哪条接管,方便后续改卡与复盘,也能看出判断点是否写全。

验收:三条可判定

每条标准要能被两个人独立判断且结论一致,不能靠职位高低裁定。写准确不行,写引用制度条款编号且与原文一致才行;三条之外再加一条兜底,说明无法判断时由谁裁定、多久给答复,避免验收会上各说各话、最后靠职级压人。

维护:编号与复核

每张卡有编号、版本与维护人,每季度复核一次是否仍然有效,并记录改动原因;出现系统改版、口径变化或连续接管时,应提前复核而不是等到季度末。没有复核机制,卡片会在半年后与系统脱节,使用者照着做反而出错,最后被集体弃用。

适用与不适用

适合谁

  • 刚开始把 AI 任务制度化的业务与运营团队
  • 需要交接与培训新人的岗位与班组
  • 要统一多个小组做法与字段口径的管理者

不适合谁

  • 还没有稳定任务、处于探索阶段的团队
  • 希望用一张卡替代系统权限改造的项目

典型场景

某保险公司的核保助理岗按五步做出第一张卡:选补充材料通知这个任务,试跑时发现三种拒赔情形无法判断,据此把接管条件写细,验收标准压到三条可核对项,入册后由核保主管每季度复核一次并记录改动,第三个月又按同一流程做了两张相邻任务的卡。

可执行步骤

  1. 用三个筛子从候选任务里选出一个,写清选择理由,先做最可能上线的那一个
  2. 先写判断点与接管条件,再写输出格式与验收口径,业务方必须参与确认
  3. 用正常、边界、应拒答三类样本各五条试跑,记录每条样本触发了哪条接管规则
  4. 把验收标准压到三条可判定项,再补一条兜底规则,写明无法判断时由谁裁定、多久答复
  5. 编号入册,指定维护人与季度复核时间,每次改动写明原因、日期与失效条件
方法、团队与训练营类目结构示意图
类目示意图:方法、团队与训练营通用流程示意 · 上岸智源

常见坑

  • 跳过试跑直接入册,上线后大量接管;试跑至少覆盖三类样本,缺一类就补,否则等于把未验证的做法写进制度
  • 验收标准写成主观描述,评不起来;改成可勾选的判定项并附合格样例,两人各判一次看是否一致
  • 一类样本跑通就宣布可用,边界一来就崩;边界与拒答样本要占到一半,宁可上线晚一周,也不要上线后被停用
  • 卡片入册后无人复核,半年后失效;设季度复核,改动写明原因与日期,并在看板上标注新版本与生效时间
俯拍桌面与协作中的团队
团队协作:电脑与文件自有素材

自检与验收清单

  • 任务是否同时满足高频、边界清楚、可兜住三条,并有候选清单
  • 接管条件是否具体到情形与责任人,能否立即执行
  • 是否用三类样本试跑过,并留下试跑记录、判定人与日期
  • 验收标准是否可被两名评分人一致判断,且附合格样例
  • 是否有编号、维护人与季度复核周期,并登记在册

常见问题

五步能压缩吗

写卡与试跑可以合并为一轮,验收与入册可以合并;但试跑不能省,否则等于把未验证的做法写进制度。压缩时宁可减少场景数量,也不要减少样本类型,否则上线后接管会集中爆发。

用什么工具写卡

表格或在线文档即可,关键是字段固定、有编号、可检索。先跑通三个月再考虑专门工具,避免为字段未定型的流程做开发;工具太早介入,往往把错误的字段结构固化下来,改起来更贵。

一张卡要试跑多少样本

每类至少五条,边界样本越多越好。样本由使用者提供,工程方不要自己编,否则试跑的是想象而不是业务;样本要标注判定人与判定日期,后续回归测试才有对照,也能看出业务口径是否变了。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  3. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023