触发条件要量化

写清错误率达到多少、接管率连续几小时超过多少、出现哪类数据错误必须回退。为什么必须写数字:事发时人的判断会受压力与立场影响,模糊的严重二字永远争不出结果;事先写定阈值,处置就从讨论变成执行。

仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

决策权限要单一

指定一名可下令回退的人,并给出代理人与授权范围。为什么要单一:多方同时判断会互相等待,尤其在跨团队协作时,谁都不愿先开这个口;单一决策人加明确阈值,能把决策时间从几十分钟压缩到几分钟。

回退手段要分层

按影响面从小到大排列:关开关、回退提示词与知识库、回退模型版本、退回人工流程、停用功能。为什么分层:每一层的代价不同,先用小代价手段往往足够;一上来就整体回退,会连带撤掉已经稳定的部分。

时间目标与数据一致

给每一层回退写明目标耗时,并说明数据如何处理:是否停写、是否双写、是否需要修补。边界在于:数据修补方案涉及业务口径时,由客户方数据负责人确认,我方提供脚本与影响范围说明,不自行判断业务数据取舍。

演练与复盘闭环

上线前至少演练一次真实切换,记录耗时与卡点;回退发生后一周内出复盘,写明触发原因与预案要改的地方。为什么两件事都不能省:没演练的预案只是设想,没复盘的处置会重复发生。

适用与不适用

适合谁

  • 涉及业务流程、出错影响较大的系统
  • 多版本共存、需要分层回退的架构
  • 有变更管理要求、需留存预案的组织

不适合谁

  • 无状态、失败可重跑的批处理任务
  • 单点工具、随时可停用且无数据沉淀的场景

典型场景

某医疗信息化厂商在上线前编写回滚方案。团队把触发条件定为三类错误率阈值,指定运维负责人为决策人并设代理人,按关开关、回退知识库、退回人工三层排列手段,每层写明目标耗时。演练当天发现回退脚本缺少权限,补齐后重新演练,实际切换耗时从预估的半小时降到十二分钟。

可执行步骤

  1. 把触发条件写成可以监测的阈值,逐条对应到具体指标与统计周期上
  2. 指定唯一的决策人与代理人,并写明各自的授权范围与需要通知的对象
  3. 按影响面由小到大排出回退层级,并写清每一层的操作步骤与责任人
  4. 为每一层设定明确的目标耗时,并写明数据的停写、双写与修补方式
  5. 上线之前完成一次真实的切换演练,记录耗时、卡点与需要改进的事项
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 预案里只写原则不写阈值,事发时几个人各持判断,等到意见统一时影响面已经扩大不少。
  • 回退脚本长期未用又没有演练,真正执行时发现权限缺失或路径变更,恢复时间远超预期。
  • 只准备了整体回退,没有中间层的回退手段,小问题也被迫整包撤销,稳定的功能一起下线。
  • 回退之后没有安排复盘,同类问题在下一个版本再次出现,团队对预案的信任度持续下降。
工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

自检与验收清单

  • 触发条件是否已经量化到具体指标与统计周期
  • 决策人与代理人是否已经指定并获得书面授权
  • 回退层级是否按影响面排序,并且各有操作步骤
  • 每一层的目标耗时与数据的处置方式是否写明
  • 上线之前是否已经完成演练,并留存耗时记录

常见问题

回滚方案谁来编写?

由交付方的技术负责人起草,客户方的运维与业务负责人共同确认。技术侧清楚层级与步骤,业务侧清楚哪些数据不能丢、哪些流程不能停;单方编写的方案往往在关键约束上留下空白,演练时才会暴露。

多久演练一次?

每个重要版本上线前演练一次,至少每季度一次整体演练。演练不必全真,但要覆盖下令、执行、验证三个环节;只做桌面推演容易漏掉权限与脚本问题,而那恰恰是真出事时最耗时的部分。

回滚后多久能重新上线?

取决于根因是否定位并修复,通常不建议当天回滚当天重上。稳妥做法是修复后先小范围灰度,观察一个工作日高峰再逐档放量;急于恢复而跳过验证,往往导致第二次回滚,团队与业务的信心都会受损。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024