场景一:权重下载
从非官方渠道拿到的权重可能夹带恶意代码,尤其是旧式序列化格式在加载时就会执行。处置是只用可信托管源、校验哈希、优先安全格式,并在隔离环境中首次加载,观察是否有异常外联与文件写入,这一层最容易被跳过。

场景二:微调污染
数据里混入特定触发样本,模型平时正常、遇到关键词就输出错误结论。处置是数据来源审核、训练前后行为基线对比,并在评测集里加入触发词测试,否则这类问题在常规评测里几乎看不出来,基线要覆盖常见触发方式。
场景三:能力萃取
外部通过大量调用复制模型能力,或用合成数据反推。处置是配额与限流、异常调用模式检测、输出水印与合同约束,对高价值模型单独设访问门槛,别让一个密钥就能无限次采样,配额要按账号而非按地址。
场景四:推理滥用
越狱生成违规内容、盗用算力或批量注册。处置是内容护栏、账号风控、按租户配额与用量异常告警,并保留可追溯的调用记录,让异常账号能在一天内被发现而不是一年后,异常账号要能自动限流。
场景五:资产外流
权重、微调脚本与提示词被传到公开仓库或个人网盘,往往由离职或外包人员带出。处置是仓库与网盘扫描、最小权限、离职回收与导出审计,重点盯那些平时不声不响的批量下载行为,扫描要覆盖个人网盘。
适用与不适用
适合谁
- 自建或微调模型的企业,有模型资产
- 从公开渠道获取开源权重的算法团队
- 需要评估模型供应链风险的采购与安全部门
不适合谁
- 只调用托管接口、不接触权重的团队
- 完全没有模型资产、仅做提示词配置的业务方
典型场景
某医疗 AI 团队从论坛下载了一个微调权重,加载时触发异常外联。排查发现脚本在反序列化阶段执行了下载指令。团队随后改为从官方仓库取权重、校验哈希、在无外网容器中加载,并把模型入库流程写成检查表,检查表随后纳入交付流程。
可执行步骤
- 建立模型资产台账,逐条记录来源、许可、哈希、版本与责任人,并标注责任人。
- 权重只从可信托管源获取,入库前校验哈希与签名,并留存校验记录备查
- 在无外网的隔离环境首次加载,观察外联、文件写入与进程行为,留一份给业务。
- 训练前后跑同一套行为基线,重点测触发词与边界输入,结果存档对比,差异逐条解释。
- 对高价值模型单独设访问门槛、调用配额与异常告警,配额按月复核,超限自动告警。
常见坑
- 图省事从网盘或论坛拿权重,加载时就执行,训练主机直接被植入后门,排查往往要花好几天,上线时间被拖后。
- 微调数据不做来源审核,模型在特定关键词出现时给出错误结论,很难复现,只能靠人工回溯,评测也测不出来。
- 接口没有限流与异常检测,能力被批量萃取,商业价值受损还查不到调用方,续费时才发现异常,追查也很困难。
- 离职人员带走了微调脚本与权重,事后才发现既没有导出审计也没有权限回收,争议时各说各话。

自检与验收清单
- 每个模型资产是否有来源、许可与哈希记录,可抽查
- 权重是否在无外网的隔离环境中完成首次加载
- 微调前后是否跑同一套行为基线与触发词测试
- 高价值模型是否设访问门槛、配额与告警,可核查
- 是否有仓库、网盘扫描与导出审计机制,含个人网盘
常见问题
安全格式的权重一定可信吗?
格式本身不执行代码,风险小很多,但不代表内容可信:权重仍可能被投毒,也可能夹带不合法的训练产物。格式解决加载安全,来源与评测解决内容安全,两者要分开看,格式只是第一道关。
小公司需要做资产台账吗?
需要,而且越早越省事。台账可以先用表格,记清来源、许可、版本与责任人即可。等到出了事故再回溯,往往已经找不到当时用的是哪一版,台账可以用表格先跑起来,别等到出事才补。
怎么发现能力被萃取?
看调用模式:集中在少数账号、输入分布异常集中、请求带有系统性探测特征。配合配额与告警可以提前发现,事后也能凭日志追查,前提是日志里保留了请求标识,日志要保留请求标识。
