四层监控指标

基础设施看 GPU 温度、显存、磁盘与电力;服务层看成功率、分位延迟与队列长度;边界层看出站请求与白名单偏差;业务层看任务完成率与人工接管率。为什么分层:只看资源会漏掉业务退化,只看业务又定位不到根因,四层要能按同一个 trace 串起来。

电路板元件的微距特写
电路微距:算力与硬件自有素材

出站异常告警

为出站流量设基线,出现新目的地址、非常规端口或流量突增时立即告警。怎么做:把白名单做成配置而非硬编码,变更走审批;边界是告警不能只发邮件,要有值班接收与升级路径,否则夜里发生的异常要到第二天才被看到。

日志脱敏与访问控制

日志用于排障,但不能成为新的泄露渠道。怎么做:按字段分级,敏感内容落库前脱敏或加密,访问日志本身也要留痕;边界是排障需要与最小化原则冲突时走临时授权并设定到期时间,不能长期开着全量,也不要多人共用同一个账号。

版本灰度与容量自查

模型、推理引擎与脱敏规则的变更都要灰度,先小流量验证再全量,并保留可回滚的上一版本。为什么重要:本地环境缺少外部兜底,一次错误的权重替换可能让回答质量整体下滑。按周看资源水位,按季做边界自查并留档。

适用与不适用

适合谁

  • 已在本地运行模型服务、需要长期维持边界的运维团队
  • 要建立值班与告警机制的信息中心与安全部门
  • 承担托管运维、需要向客户证明边界有效的服务商

不适合谁

  • 仍在选型阶段、尚未上线任何本地服务的项目
  • 没有人力接收告警、也不准备建值班机制的小团队

典型场景

某能源企业的本地推理环境上线半年后,运维在月度巡检中发现一个新增的出站目的地址,追查是监控代理升级后默认上报。团队把上报字段改为脱敏摘要并加入白名单审批,同时把出站基线告警接入值班手机。季度自查时又发现两条过期权限,一并回收并注明了处理人。

可执行步骤

  1. 按四层列出监控指标、告警阈值与责任人,并写入运维手册与值班表
  2. 建立出站流量基线,把白名单做成可审批的配置并接入值班告警手机
  3. 对日志字段做分级与脱敏改造,同时限制可访问的人员范围与账号权限
  4. 为模型、引擎与脱敏规则变更配置灰度比例,并准备一键回滚脚本演练
  5. 每季度做一次边界自查,形成留档报告并跟踪整改到闭环与具体责任人
算力、私有化与成本类目结构示意图
类目示意图:算力、私有化与成本通用流程示意 · 上岸智源

常见坑

  • 只监控服务器资源,不监控出站流量,数据从旁路流出很久都无人发现,边界实际上已经破了。
  • 告警只发邮件而无人接收,夜间异常拖到次日,处置窗口被浪费,小问题被拖成需要上报的事件。
  • 排障时临时开放全量日志,事后没有关闭,日志变成长期泄露源,还可能被内部人员滥用。
  • 模型升级不做灰度,一次替换导致回答质量整体下滑,只能整批回退,业务中断时间被拉长。
人形机器人与电脑设备同框
机器人:智能体与自动化自有素材

自检与验收清单

  • 四层监控指标是否都有阈值、责任人与升级路径
  • 出站流量基线是否覆盖全部服务与全部时段并留档
  • 日志敏感字段是否脱敏,访问是否留痕可审计
  • 模型变更是否配置了灰度比例与一键回滚脚本
  • 季度自查报告是否留档并跟踪整改到闭环状态

常见问题

本地部署还需要七乘二十四小时值班吗?

取决于业务时段与服务承诺。至少要有告警接收人与升级路径,夜间可以按等级决定是否响应。完全无人值守时,出站异常与资源耗尽往往要等到次日才发现,代价可能高于值班投入。

日志里能存用户原文吗?

要看用途与保存期限。排障需要与最小化原则要平衡,建议分级存储、限期清理,并对敏感字段脱敏或加密。访问日志本身要留痕,避免日志成为绕过权限的另一条数据通道。

季度自查具体查什么?

流量与白名单核对、权限与账号复核、删除记录抽查、模型与规则变更记录、备份恢复演练结果。每项都要有结论与责任人,发现问题要登记整改并跟踪到关闭,不能只写一句已检查。

参考来源

  1. GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求 国家市场监督管理总局、国家标准化管理委员会 · 2019
  2. 网络数据安全管理条例(国务院令第790号) 国务院 · 2024
  3. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023