留什么:五类最小记录

调用方与用途、模型与提示词版本、输入输出摘要、人工复核结论、异常与投诉处置。五类记录能串起完整链路,缺一类就出现无法解释的断点。存摘要而非全文,是兼顾可审计与最小化的折中,也降低泄露风险。怎么定这五类,要看链路最常在哪一步断掉。

诊室内的检查设备与座椅
诊室场景:合规与隐私边界自有素材

留多久:按用途分级

对外服务与涉及个人信息处理的记录,保存期应覆盖争议周期与监管要求;内部低风险场景可缩短。做法是在数据分级表里给每类记录标保存期与到期删除方式,避免全量长期堆积反而扩大泄露面,也增加清理成本。边界在于保存期要与争议周期相匹配。

怎么抽:分层抽样

按场景、模型版本与风险等级分层,每层抽固定数量,重点看标识是否在位、人工复核是否真实发生、异常是否闭环。抽样要留抽样单与复核人签字,否则无法证明抽过,结论也无法被别人复核,跨期也无法对比。怎么抽才有代表性,要看分层是否合理。

报告写什么

审计报告应包含范围与排除项、抽样方法与样本量、发现的问题与分级、整改责任人与期限、上次问题的关闭情况。只写结论不写方法的报告无法被复核,也无法在下次审计中作为对比基线,整改验收更是无从谈起。为什么必须写方法:换人复核时,方法决定结论能否延续。

留痕的边界

留痕不是越多越好,超出必要范围的记录本身构成个人信息集中风险。要把留痕字段、访问权限与保存期一起设计:谁能看、看哪些、看完是否留访问日志,都要有明确规则并定期复核,避免留痕系统变成新的风险点。边界在于留痕本身也是一种个人信息处理。

适用与不适用

适合谁

  • 准备接受监管检查或客户尽调的企业
  • 已上线生成式功能、需要建立抽检机制的团队
  • 需要向董事会说明风险状况的合规负责人

不适合谁

  • 尚未上线任何生成式功能、无链路可审的企业
  • 只想要一份报告模板、不做抽样的团队

典型场景

某银行的合规部门对内部知识问答做季度审计,从网关日志按部门与模型版本分层抽取样本,逐条核对答案引用来源、转人工记录与投诉工单,把发现的问题按高中低分级派给责任人,下季度审计先复查上期问题是否关闭。

可执行步骤

  1. 确定审计范围与排除项,写进审计方案并报批,明确本次不覆盖的部分,避免每次口径不同
  2. 在网关与工单系统确认五类记录都能按时间检索,缺字段的先补埋点,否则抽检结论落空
  3. 按场景与风险分层抽样,保留抽样单与复核人签字,样本量写进方案,便于他人复核
  4. 逐条核对标识、人工复核与异常闭环的实际情况,结论附证据位置,并保留证据的位置信息
  5. 出报告、派整改、在下期审计中复查问题关闭情况,未关闭的升级处理,形成完整闭环
安全、合规与数据类目结构示意图
类目示意图:安全、合规与数据通用流程示意 · 上岸智源

常见坑

  • 只留最终回答,不留输入与模型版本,问题无法复现,整改只能凭猜测,也无法向客户说明处置过程
  • 抽样凭印象挑样本,结论无法复核,也难以与其他季度横向对比,代表性说不清,抽样记录形同虚设
  • 报告只写问题不写方法与样本量,整改无法验收,下一次审计仍会重复发现同类问题,责任难以落位
  • 留痕字段过多且无权限控制,形成新的泄露点,审计时要连同留痕系统一起看,删除机制也要收紧
天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

自检与验收清单

  • 五类记录是否都能按时间检索,缺项是否补齐,可核
  • 保存期与到期删除方式是否已经确定并执行,删除是否有执行记录
  • 抽样方法、样本量与复核人是否留档可查,可供外部复核
  • 报告是否含范围、方法、问题分级与责任人,样本量是否写明
  • 上期问题是否在本次复查中关闭并留结论,未关闭是否升级处理

常见问题

日志留存会不会违反最小必要?

会有张力,所以要按用途分级并做字段裁剪。保留审计必需的最小字段,设定保存期与访问权限,到期删除;含个人信息的字段优先存摘要或哈希,降低可识别性,同时保留核对能力。

内部审计和外部审计差别在哪?

内部审计重在发现问题与推动整改,节奏可控;外部审计或客户尽调重在举证与责任划分,对记录完整性与可追溯性要求更高。两者可共用一套记录,但报告口径与取证深度要分开。

模型供应商的日志能替代自留吗?

通常不能。供应商日志的字段、保存期与导出能力不受企业控制,检查时也未必能及时提供。企业应在自有网关记录关键字段,把供应商日志作为补充证据,而不是唯一证据。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023