选型两项:任务与基线

先确认任务高频、输入稳定、输出可判定,再记录人工处理的耗时与返工率作为基线。没有基线,后面所有改动的收益都无法计算,验收只能靠印象;基线不必精确到分钟,但要能在同一口径下重复测量。

人形机器人与电脑设备同框
机器人:智能体与自动化自有素材

样本两项:来源与覆盖

检查样本是否来自真实记录、是否覆盖长输入、缺字段、错别字与敏感内容,并确认授权与脱敏。样本只挑干净案例时,评测通过率会虚高,上线后遇到脏输入立刻失效,返工成本高于前期多花的时间。

模板两项:结构与校验

模板要固定目标、约束、示例与输出格式,变量单独注入;同时为可校验的输出配解析与重试。只写模板不加校验,等于把错误推给下游;只加校验不写结构,则模型每次输出都需要人工整理,长期看更费人力。

上线两项:灰度与运营

上线前安排灰度范围、观察期与回滚方式;上线后按月回补失败案例、按季度清理过期示例。缺少运营环节的模板会随业务口径变化而失效,团队却往往在效果下滑时才发现,追溯起来已经很难,只能整体重做。

清单怎么用

八项检查分四组,每组有负责人、证据与不通过时的处理动作。过会时逐项出示证据,缺证据视为未通过,而不是口头说明。把清单挂到现有研发流程上,比另建一套文档体系更容易坚持下来,也便于交接给后来的人。

适用与不适用

适合谁

  • 准备把提示工程纳入正式项目的团队
  • 已有原型、需要判断能否上线的部门
  • 需要向管理层说明质量控制的负责人

不适合谁

  • 只做一次性试验、不打算长期维护的团队
  • 把清单当形式、不留任何证据的项目

典型场景

某零售企业的门店问答助手进入上线评审。项目组按八项逐一出示证据:任务频次统计、基线耗时表、样本来源清单与授权确认、模板版本与评测记录、灰度方案与回滚脚本。样本覆盖一项因缺少错别字案例被判定不通过,补样后重新过会。

可执行步骤

  1. 按四组列出负责人、证据与截止时间,贴到项目看板上,每周核对一次进度
  2. 先完成基线与样本两项,再动模板,顺序不要颠倒,否则返工代价很高,也难服众
  3. 模板与校验同步做,跑完评测再提交过会,避免评审时才发现格式不对,临时补救
  4. 确认灰度范围与回滚方式后再放量,按月回补案例,按季度复核清单,形成惯例
AI 基础与概念类目结构示意图
类目示意图:AI 基础与概念通用流程示意 · 上岸智源

常见坑

  • 先写模板再补基线,改完无法证明收益,评审时只能靠描述,预算难以争取,项目容易被搁置,团队也会泄气。
  • 样本只覆盖常规输入,上线后错别字与缺字段场景集中报错,只能紧急回退,返工从补样开始,时间成本更高。
  • 校验与模板分给两个人做却没有对齐格式,解析失败率居高不下,运维疲于修数据,用户也失去耐心。
  • 上线后无人回补案例,三个月后模板与实际业务脱节,使用率悄悄降到零,投入变成沉没成本,也没人再提。
从太空俯瞰城市灯光的夜景
全球夜景:网络与连接自有素材

自检与验收清单

  • 八项是否各有负责人与证据材料,缺一项即不通过
  • 基线是否可重复测量并留档,且测量口径统一可核
  • 样本是否覆盖脏输入、敏感内容与拒答三类场景
  • 灰度与回滚是否落实到具体操作步骤与责任人

常见问题

八项必须按顺序做吗?

前四项建议按顺序,任务与基线不清时后面都是空转。模板与校验可以并行,上线两项在放量前补齐即可。顺序的意义在于每一步的结论能被下一步使用,而不是增加流程负担。

小项目也要走八项吗?

可以压缩但不能跳过基线与样本两项。这两项决定后面是否可比较、可验收;其余可按风险裁剪,例如内部工具可简化灰度,但仍要保留回滚与月度回补,否则问题会积累到无法收拾。

清单能保证效果吗?

不能保证上限,但能避免低级失误:没有基线、样本失真、模板无校验、上线无回滚。效果仍取决于任务选择与判定标准的清晰度,清单的作用是让问题尽早暴露、责任可追溯、交接有依据。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024
  3. The 2025 AI Index Report Stanford Institute for Human-Centered AI (HAI) · 2025