分层指标不是总体均值

每档都要留下该档用户的错误率、接管率与响应时间,与对照组或上一档比较。为什么强调分层:总体均值会把首档的问题稀释掉,评审时看不出放量过程中的犹豫;分层数据才说明每一档是否真的达标。

机房内工程师检查设备
部署场景:机房与交付自有素材

开关操作要有时点

记录每次开关切换的时间、操作人、影响范围与切换原因。为什么重要:事后复盘时,指标拐点与开关时点的对应关系是判断因果的唯一线索;只有截图没有时点,等于没有记录,争议时无法自证。

异常工单要能归类

把灰度期间的用户反馈与工单按类型归并,标注是否由本次改动引起。怎么做:给工单加一个版本标签,按周汇总;没有归类的工单只能证明有人抱怨,无法说明问题集中在哪个环节,也难指导修复。

放量决议要有签字

每档结束后由决策人签字确认继续放量或停留观察,写明依据的指标与未闭环事项。边界要写清:谁有权拍板、谁作判断。判断由客户方业务负责人作出,我方只提供数据与建议,签字不是形式。

回滚演练算验收项

全量前至少演练一次回退,把切换耗时与卡点记下来。为什么列进验收:没演练过的回退方案只能算设想,真出事时往往卡在权限、脚本或数据兼容上,这些问题在演练中几十分钟就能暴露。

适用与不适用

适合谁

  • 多档灰度即将结束、准备全量的项目
  • 需要向变更评审会提交材料的技术团队
  • 涉及外部客户、需留存合规证据的场景

不适合谁

  • 仅内部试用、无正式变更流程的小工具
  • 缺少监控数据、无法分层统计的系统

典型场景

某出行平台的司机端派单建议改版走完四档灰度。发布经理把每档的指标对比、开关时点、工单归类整理成附件,回退演练记录显示十八分钟恢复。评审会上有人质疑第二档指标下滑,团队用开关时点与工单标签说明原因,决议继续全量并留一周加密观察。

可执行步骤

  1. 按档整理指标对比表,每一档都要附上样本量、观察时长与对照口径
  2. 导出开关切换的记录,逐条标注切换时间、操作人、影响范围与原因
  3. 给灰度期间收到的工单加上版本标签,按类型归并,并注明是否相关
  4. 每档结束形成一页放量决议,写明依据与未闭环事项,由决策人签字
  5. 全量前完成一次完整的回退演练,记录恢复耗时与演练中暴露的问题
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 只保留总体的成功率曲线,分档数据早已被覆盖,评审时无法解释为什么在第二档停留了两天。
  • 开关操作只有聊天记录没有时点台账,指标拐点与变更无法对应,因果判断只能靠事后推测。
  • 异常工单既没有归类也没有版本标签,只能证明有人抱怨,无法说明问题集中在哪个环节。
  • 把回退演练安排在周末、参与的人很少,真出事时才发现权限没有开通,恢复时间远超预期。
工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

自检与验收清单

  • 每一档是否都有分层指标、样本量与观察时长
  • 开关与放量操作是否有时点、操作人与影响范围记录
  • 异常工单是否都已经加了版本标签并完成归类
  • 每档的放量决议是否有依据说明与决策人签字
  • 全量前是否完成一次回退演练,并记录恢复耗时

常见问题

证据要交给谁?

通常交给客户方的变更评审或技术委员会,同时抄送业务负责人。若涉及外部客户或监管要求,还需按要求归档留存;归档时注意脱敏,日志与工单中的客户信息应按数据分级要求处理,不能整包外发。

只有两档也需要这么多材料吗?

可以精简但不能缺失关键项。两档情况下,重点保留分层指标、开关时点与回退演练三项;工单归类可以合并到一份周报里。材料的目的不是应付评审,而是在出现争议时能自证当时判断的依据。

灰度没做完就全量了怎么办?

补做一次回溯说明:写清跳档原因、当时依据的指标与风险评估,并把后续观察加密。跳档本身不可怕,可怕的是没有记录;等到出问题时再解释,任何理由都会被当成事后找补,反而更难收场。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024