稳定性看响应与漏报

可用性之外,更要看告警响应时长与漏报次数:同一类告警从发出到有人接手用了多久,观察期内有没有根本没被发现的故障。只看可用性会被平均值掩盖,一次夜间漏报就足以说明值班机制没有落地。

仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

可运维性看独立操作

客户团队能否独立完成一次变更、一次备份恢复与一次扩容,是交接是否完成的最直接证据。指标可以用独立完成率与平均耗时,数据来自工单与操作记录,而不是自评问卷或座谈印象,后者通常偏乐观。

业务感知看回流

业务方最敏感的往往不是系统故障,而是问题该找谁。统计接管期内的咨询量、退回原团队的比例与业务方反馈,能看出信任是否建立。退回比例高,说明交接只完成了形式,判断经验并没有真正交出去。

基线必须在移交前采

交接前两周就要采集同一组指标作为基线,否则移交后无从比较。常见错误是等出问题才补数据,此时监控口径可能已被改动,比较结果无法用于决策;基线口径应由双方在交接会上共同确认并留档。

指标不用于个人考核

交接期指标应用于判断机制是否就位,而不是给值班人排名。一旦与个人绩效挂钩,漏报会被瞒报、工单会被私下关掉,数据反而失真。若必须考核,应考核团队的值班覆盖率与演练完成情况,而不是单个指标。

适用与不适用

适合谁

  • 进入共管期、需要判断能否退出的项目
  • 有多套系统分批交接、需要横向比较的集团
  • 已具备监控与工单系统、能取到客观数据的组织

不适合谁

  • 尚无监控与工单记录、只能靠人工填报的团队
  • 希望用一组指标直接证明投入产出比的委托

典型场景

某能源企业的巡检问答系统移交后进入六周观察期。信息中心每周从监控平台导出告警响应时长与漏报清单,从工单系统统计退回原团队的比例,业务方按周记录咨询量。第四周发现夜间告警平均响应超过两小时,追查为值班手机未覆盖二号厂区,补齐排班后第六周指标回到基线水平。

可执行步骤

  1. 在移交前两周采集三类指标基线,由双方确认统计口径后锁定,写入交接方案
  2. 约定观察期长度、取数频率与出数责任人,写进交接方案并同步业务方知悉
  3. 每周比对基线与实际值,逐项标注偏差原因与处置人,异常项当周闭环,不留到期末
  4. 共管期末复核客户团队独立变更与恢复演练的完成情况,未过项要补做并留记录
  5. 按指标结果决定退出共管、延长观察或补做整改项,结论书面通知双方并写明依据
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 没有基线,移交后只能说感觉还行,无法判断稳定性究竟变好还是变差,也无法向管理层解释,更谈不上改进。
  • 只统计告警数量,不看响应时长与漏报,次数下降被当成进步,实际是把告警关掉了,风险被藏起来。
  • 用满意度问卷代替可运维指标,问卷分数很高,客户团队仍不能独立完成变更,交接只停在纸面,更无法应对故障。
  • 观察期内随意调整统计口径,前后数据不可比,最终结论只能靠印象,评估也失去意义,来年重复同样问题。
工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

自检与验收清单

  • 三类指标与统计口径是否经双方书面确认并留档
  • 移交前是否已按同一口径采集基线数据并留档
  • 观察期长度、取数频率与出数责任人是否书面约定
  • 客户团队是否独立完成一次变更与一次恢复演练
  • 指标结果是否对应明确的退出或整改决定并留档

常见问题

观察期设多长合适?

常见四到八周,需覆盖至少一个完整业务周期,比如月结、排班轮转或季度申报。系统越复杂周期越长;若仅服务单一班次,四周也能看出值班机制是否落地。关键是期内每周出数,而不是期末一次性补。

客户团队暂时做不到独立操作怎么办?

把未完成项拆成具体动作补练,例如单独完成一次备份恢复或一次权限变更,并指定带教人;不要用延长共管期代替能力建设。连续两次演练仍不达标的,应回到文档与培训环节找原因,而不是继续加时间。

指标达标就能退出共管吗?

还要确认遗留缺陷清单已清零或转入质保、文档已更新到最新版本、供应商联系人已完成变更。指标只反映运行状态,不覆盖责任与资料交接;三项同时满足再退出,能避免退出后又被拉回来。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. 中小企业数字化转型指南 工业和信息化部 · 2022