四类核心记录

模型资产与变更、训练与微调数据来源、评测与红队报告、推理路由与输出处置。四类记录要能通过版本号互相引用,否则只能各自成立、无法互证。检查时一交叉就会露馅,缺的那一类往往正是最关键的一类。

城市夜景与发光的数据锁
安全场景:数据与合规自有素材

推理侧要记什么

请求标识、模型与版本、路由决策、护栏命中、输出是否被拦截或改写、最终去向。记到能还原「为什么这次走了这个模型」,而不是只留一条调用时间和耗时,后者几乎回答不了任何实质问题,路由记录要能复现。

数据来源的证明

训练与微调数据的授权、采集方式、脱敏处理与版本要留档。仅有数据集文件不够,还要能说明它从哪来、谁批准使用、是否含个人信息,这三点决定了一次检查能不能顺利通过,来源说明要能落到文件。

证据链的组织

以模型版本为主线,把数据、评测、上线审批、配置变更与推理记录串起来。抽查时从一条输出往上追,能在约定时间内追到审批人,才算可用,否则材料再多也说明不了问题,追溯时间要设定上限,这个上限要写进制度。

边界:审计材料也敏感

权重、评测集与日志都可能含敏感信息,提交给外部时应做脱敏与范围限定。为证明合规而全量外发,可能造成一次新的泄露,反而把审计变成了风险事件,外发范围要逐份确认并登记留档,边界要写清。

适用与不适用

适合谁

  • 需要向客户或监管证明模型可追溯的企业
  • 自建推理服务、有多个模型版本的团队
  • 负责模型上线审计与事件复盘的部门,需要版本记录

不适合谁

  • 只调用单一托管接口、无版本管理的轻量应用
  • 尚未建立任何模型台账的组织,也无版本记录

典型场景

某招聘平台的简历筛选模型被投诉存在偏差。审计从一条被拒记录追到模型版本、当批特征数据与上线审批,发现是两周前一次特征更新引入的。团队据此回滚并对该批次重新评估,整个过程在两小时内完成,复盘材料同步给了合规部门。

可执行步骤

  1. 以模型版本为主线,建立资产、数据、评测与审批四类记录的关联,并约定复核频率。
  2. 推理日志补充路由决策、护栏命中与输出处置等字段,并同步到知识库,字段定义写进文档。
  3. 为训练与微调数据留存授权、采集方式、脱敏处理与版本记录,留一份可查版本。
  4. 每季度随机抽一条输出做向上追溯演练,记录耗时与断点位置,列入下季度计划。
  5. 对外提交审计材料前做脱敏与范围界定,并由法务复核措辞,外发清单逐份登记。
安全、合规与数据类目结构示意图
类目示意图:安全、合规与数据通用流程示意 · 上岸智源

常见坑

  • 只记模型名字不记版本号,出了问题根本不知道该回滚到哪一版,检查时也很被动,回滚只能靠猜。
  • 评测报告散落在个人电脑里,评审时找不到,等于从来没有做过,也无法补做,同类问题会重复发生。
  • 推理日志只有时间与耗时,没有路由与护栏字段,决策过程还原不了,也说不清是否走错模型,代价更高。
  • 对外提交材料不做脱敏,一边证明合规,一边把客户数据又泄露了一次,很难向对方解释,也很难补救。
天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

自检与验收清单

  • 每个模型是否有唯一版本标识与变更记录,可查变更
  • 推理日志是否含路由、护栏与输出处置字段,可抽样
  • 训练与微调数据的授权、脱敏是否留档,含版本号
  • 是否每季度做过一次向上追溯演练,含耗时记录
  • 对外提交的材料是否脱敏并经法务复核,有复核痕迹

常见问题

只记调用日志够不够?

不够。调用日志能证明用过模型,但证明不了版本、数据与审批。需要把调用与资产台账、评测报告、上线审批用版本号关联起来,才构成能自证的证据链,台账是连接的起点,实践中常被跳过。

评测集本身含敏感数据怎么办?

做脱敏或改用合成样本,并把原始集单独限权保存。评测集往往会长期留存,如果直接放真实数据,等于给自己留了一份难以管理、也容易被忽略的副本,合成样本也可用,应写进项目计划。

外部审计要看权重怎么办?

先确认必要性与范围,能提供哈希、评测报告与隔离说明的,通常不必交出权重。确需交付时应签保密协议、限定用途并记录交接,避免二次扩散,交付清单要逐项签字确认,常被忽略。

参考来源

  1. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  2. GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求 国家市场监督管理总局、国家标准化管理委员会 · 2019
  3. 中华人民共和国网络安全法 全国人民代表大会常务委员会 · 2016