场景一:权重下载

从非官方渠道拿到的权重可能夹带恶意代码,尤其是旧式序列化格式在加载时就会执行。处置是只用可信托管源、校验哈希、优先安全格式,并在隔离环境中首次加载,观察是否有异常外联与文件写入,这一层最容易被跳过。

诊室内的检查设备与座椅
诊室场景:合规与隐私边界自有素材

场景二:微调污染

数据里混入特定触发样本,模型平时正常、遇到关键词就输出错误结论。处置是数据来源审核、训练前后行为基线对比,并在评测集里加入触发词测试,否则这类问题在常规评测里几乎看不出来,基线要覆盖常见触发方式。

场景三:能力萃取

外部通过大量调用复制模型能力,或用合成数据反推。处置是配额与限流、异常调用模式检测、输出水印与合同约束,对高价值模型单独设访问门槛,别让一个密钥就能无限次采样,配额要按账号而非按地址。

场景四:推理滥用

越狱生成违规内容、盗用算力或批量注册。处置是内容护栏、账号风控、按租户配额与用量异常告警,并保留可追溯的调用记录,让异常账号能在一天内被发现而不是一年后,异常账号要能自动限流。

场景五:资产外流

权重、微调脚本与提示词被传到公开仓库或个人网盘,往往由离职或外包人员带出。处置是仓库与网盘扫描、最小权限、离职回收与导出审计,重点盯那些平时不声不响的批量下载行为,扫描要覆盖个人网盘。

适用与不适用

适合谁

  • 自建或微调模型的企业,有模型资产
  • 从公开渠道获取开源权重的算法团队
  • 需要评估模型供应链风险的采购与安全部门

不适合谁

  • 只调用托管接口、不接触权重的团队
  • 完全没有模型资产、仅做提示词配置的业务方

典型场景

某医疗 AI 团队从论坛下载了一个微调权重,加载时触发异常外联。排查发现脚本在反序列化阶段执行了下载指令。团队随后改为从官方仓库取权重、校验哈希、在无外网容器中加载,并把模型入库流程写成检查表,检查表随后纳入交付流程。

可执行步骤

  1. 建立模型资产台账,逐条记录来源、许可、哈希、版本与责任人,并标注责任人。
  2. 权重只从可信托管源获取,入库前校验哈希与签名,并留存校验记录备查
  3. 在无外网的隔离环境首次加载,观察外联、文件写入与进程行为,留一份给业务。
  4. 训练前后跑同一套行为基线,重点测触发词与边界输入,结果存档对比,差异逐条解释。
  5. 对高价值模型单独设访问门槛、调用配额与异常告警,配额按月复核,超限自动告警。
安全、合规与数据类目结构示意图
类目示意图:安全、合规与数据通用流程示意 · 上岸智源

常见坑

  • 图省事从网盘或论坛拿权重,加载时就执行,训练主机直接被植入后门,排查往往要花好几天,上线时间被拖后。
  • 微调数据不做来源审核,模型在特定关键词出现时给出错误结论,很难复现,只能靠人工回溯,评测也测不出来。
  • 接口没有限流与异常检测,能力被批量萃取,商业价值受损还查不到调用方,续费时才发现异常,追查也很困难。
  • 离职人员带走了微调脚本与权重,事后才发现既没有导出审计也没有权限回收,争议时各说各话。
天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

自检与验收清单

  • 每个模型资产是否有来源、许可与哈希记录,可抽查
  • 权重是否在无外网的隔离环境中完成首次加载
  • 微调前后是否跑同一套行为基线与触发词测试
  • 高价值模型是否设访问门槛、配额与告警,可核查
  • 是否有仓库、网盘扫描与导出审计机制,含个人网盘

常见问题

安全格式的权重一定可信吗?

格式本身不执行代码,风险小很多,但不代表内容可信:权重仍可能被投毒,也可能夹带不合法的训练产物。格式解决加载安全,来源与评测解决内容安全,两者要分开看,格式只是第一道关。

小公司需要做资产台账吗?

需要,而且越早越省事。台账可以先用表格,记清来源、许可、版本与责任人即可。等到出了事故再回溯,往往已经找不到当时用的是哪一版,台账可以用表格先跑起来,别等到出事才补。

怎么发现能力被萃取?

看调用模式:集中在少数账号、输入分布异常集中、请求带有系统性探测特征。配合配额与告警可以提前发现,事后也能凭日志追查,前提是日志里保留了请求标识,日志要保留请求标识。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023