四类核心记录
模型资产与变更、训练与微调数据来源、评测与红队报告、推理路由与输出处置。四类记录要能通过版本号互相引用,否则只能各自成立、无法互证。检查时一交叉就会露馅,缺的那一类往往正是最关键的一类。

推理侧要记什么
请求标识、模型与版本、路由决策、护栏命中、输出是否被拦截或改写、最终去向。记到能还原「为什么这次走了这个模型」,而不是只留一条调用时间和耗时,后者几乎回答不了任何实质问题,路由记录要能复现。
数据来源的证明
训练与微调数据的授权、采集方式、脱敏处理与版本要留档。仅有数据集文件不够,还要能说明它从哪来、谁批准使用、是否含个人信息,这三点决定了一次检查能不能顺利通过,来源说明要能落到文件。
证据链的组织
以模型版本为主线,把数据、评测、上线审批、配置变更与推理记录串起来。抽查时从一条输出往上追,能在约定时间内追到审批人,才算可用,否则材料再多也说明不了问题,追溯时间要设定上限,这个上限要写进制度。
边界:审计材料也敏感
权重、评测集与日志都可能含敏感信息,提交给外部时应做脱敏与范围限定。为证明合规而全量外发,可能造成一次新的泄露,反而把审计变成了风险事件,外发范围要逐份确认并登记留档,边界要写清。
适用与不适用
适合谁
- 需要向客户或监管证明模型可追溯的企业
- 自建推理服务、有多个模型版本的团队
- 负责模型上线审计与事件复盘的部门,需要版本记录
不适合谁
- 只调用单一托管接口、无版本管理的轻量应用
- 尚未建立任何模型台账的组织,也无版本记录
典型场景
某招聘平台的简历筛选模型被投诉存在偏差。审计从一条被拒记录追到模型版本、当批特征数据与上线审批,发现是两周前一次特征更新引入的。团队据此回滚并对该批次重新评估,整个过程在两小时内完成,复盘材料同步给了合规部门。
可执行步骤
- 以模型版本为主线,建立资产、数据、评测与审批四类记录的关联,并约定复核频率。
- 推理日志补充路由决策、护栏命中与输出处置等字段,并同步到知识库,字段定义写进文档。
- 为训练与微调数据留存授权、采集方式、脱敏处理与版本记录,留一份可查版本。
- 每季度随机抽一条输出做向上追溯演练,记录耗时与断点位置,列入下季度计划。
- 对外提交审计材料前做脱敏与范围界定,并由法务复核措辞,外发清单逐份登记。
常见坑
- 只记模型名字不记版本号,出了问题根本不知道该回滚到哪一版,检查时也很被动,回滚只能靠猜。
- 评测报告散落在个人电脑里,评审时找不到,等于从来没有做过,也无法补做,同类问题会重复发生。
- 推理日志只有时间与耗时,没有路由与护栏字段,决策过程还原不了,也说不清是否走错模型,代价更高。
- 对外提交材料不做脱敏,一边证明合规,一边把客户数据又泄露了一次,很难向对方解释,也很难补救。

自检与验收清单
- 每个模型是否有唯一版本标识与变更记录,可查变更
- 推理日志是否含路由、护栏与输出处置字段,可抽样
- 训练与微调数据的授权、脱敏是否留档,含版本号
- 是否每季度做过一次向上追溯演练,含耗时记录
- 对外提交的材料是否脱敏并经法务复核,有复核痕迹
常见问题
只记调用日志够不够?
不够。调用日志能证明用过模型,但证明不了版本、数据与审批。需要把调用与资产台账、评测报告、上线审批用版本号关联起来,才构成能自证的证据链,台账是连接的起点,实践中常被跳过。
评测集本身含敏感数据怎么办?
做脱敏或改用合成样本,并把原始集单独限权保存。评测集往往会长期留存,如果直接放真实数据,等于给自己留了一份难以管理、也容易被忽略的副本,合成样本也可用,应写进项目计划。
外部审计要看权重怎么办?
先确认必要性与范围,能提供哈希、评测报告与隔离说明的,通常不必交出权重。确需交付时应签保密协议、限定用途并记录交接,避免二次扩散,交付清单要逐项签字确认,常被忽略。
