指标依赖埋点

没有埋点就没有指标,告警阈值也无从谈起。怎么做:把指标埋点与功能开发放在同一批任务里,联调时验证指标能取到数;上线后再补埋点,等于让系统在无监控状态下运行一段时间,风险最高。

仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

通知渠道提前开通

短信、电话与即时消息的通知渠道通常要客户方申请账号与白名单,属于外部依赖。为什么容易卡:审批与开通需要时间,测试时又常被忽略;上线前一天才发现电话通知发不出去,告警等于没有。

阈值需要基线

阈值要覆盖一个完整业务周期才有意义,包含周末与月末的高峰低谷。怎么做:先以观察模式运行两到四周,记录分位数与波动区间,再设定阈值与持续时间,比照抄默认值可靠得多。

演练窗口要审批

故障注入演练要申请窗口,生产环境还需值守与回滚预案。怎么排:先在测试环境演练通知链路,再在低峰窗口做一次生产演练;窗口与影响范围由客户方批准,演练前明确中止条件。

值班人力要预留

告警上线不等于有人值班,人力与培训往往是最晚到位的一环。做法:排期时把值班表、通知账号开通与两次值班培训写成客户方待办,提前两周启动;培训覆盖告警含义、处置手册位置与升级路径,培训后做一次模拟处置确认能走通。人力未到位的,先只开启日报级告警,避免夜间无人响应。

适用与不适用

适合谁

  • 准备上线监控的 AI 应用与部门
  • 通知渠道尚未开通的项目与部门及其实施团队
  • 需要向管理层解释监控工期的负责人

不适合谁

  • 无用户感知、无需通知的内部脚本或演示原型

典型场景

某制造企业的设备知识助手计划四周上线监控。第一周随功能补指标埋点,第二周申请短信与电话通知账号,第三至四周以观察模式收集基线,第五周设阈值并做一次低峰演练。通知账号审批慢了一周,是主要影响告警上线的依赖。

可执行步骤

  1. 随功能开发同步完成指标埋点,并在联调时验证可取数,完成后归档。
  2. 提前申请短信、电话与即时消息的通知账号,并完成对应的白名单配置。
  3. 以观察模式运行两到四周,收集分位数与波动区间,作为阈值基线数据。
  4. 基于基线设定阈值与持续时间,并按影响面完成分级,由责任人确认。
  5. 在获批的低峰窗口做一次故障注入演练,记录告警到达的时间与对象。
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 上线前才补指标埋点,系统在无监控状态下运行,第一批故障只能靠用户反馈,事后难以补救。
  • 通知渠道审批滞后,告警配置齐全却发不出去,一级故障夜里无人知晓,排查成本明显上升。
  • 阈值照模板直接设,上线首周全是误报,值班人很快开始忽略通知,事后追溯与定责都很困难。
机房内工程师检查设备
部署场景:机房与交付自有素材

自检与验收清单

  • 指标埋点是否与功能开发同批完成,并有书面确认
  • 通知账号与白名单是否提前申请,并有可核查的记录
  • 是否以观察模式收集过完整周期基线,可现场抽查
  • 阈值是否结合持续时间设定,并在验收时逐项核对
  • 演练窗口是否提前获批,并留存完整的验收记录

常见问题

观察期能不能省?

不建议省。没有基线就只能猜阈值,误报与漏报同时增加,值班人的信任很快耗尽。两到四周的观察期成本不高,却能换来相对可靠的阈值;业务波动大的场景还应覆盖月末或大促等特殊时段。

通知渠道为什么难批?

往往涉及运营商短信签名、电话外呼白名单与企业账号权限,需要走行政与采购流程。规避方式是启动会上就把渠道需求列成清单,指定客户方对接人,每周同步进度,而不是等到快上线才提。

阈值之后还会改吗?

会,而且应该改。业务量变化、模型版本更新、依赖调整都会改变正常区间;建议每季度复核一次阈值与分级,修改留记录并同步给值班人,避免有人按旧规则判断新告警。

参考来源

  1. GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求 国家市场监督管理总局、国家标准化管理委员会 · 2019
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024