语料入集前标级

训练与微调语料要先标级、再脱敏,最后才进训练管道。常见做法是给每个数据源打来源与级别标签,敏感字段在入集时替换或剔除;等到训练完再想清除,只能重训或加过滤层,效果和成本都不理想。

诊室内的检查设备与座椅
诊室场景:合规与隐私边界自有素材

知识库按级授权

检索增强的知识库要按文档级别配权限,检索时带上用户身份做过滤,避免越权召回。技术上可用文档级标签加检索过滤,管理上要指定知识库 owner;只做登录校验不做文档级过滤,等于把内部资料对所有登录用户开放。

模型产物同级管理

微调后的权重、嵌入向量与缓存同样承载信息,应按训练数据的最高级别管理,不能因为变成参数就降级。导出、共享与删除都要走与原数据相同的审批;把模型文件当普通构件放进公共仓库,是常见的泄密路径。

输出侧做兜底

即使入口做了脱敏,模型仍可能拼出敏感信息。输出侧要有规则与抽检:命中证件号、手机号、内部编号等模式时拦截或脱敏,并记录命中情况。兜底不是替代入口管控,而是防止一次漏网变成一次泄露。

留痕与验证

记录语料来源、标级结果、脱敏规则版本、知识库权限配置与模型产物去向。验证方式不是看文档,而是抽几个敏感样本走一遍全链路,确认检索不到、输出不露、产物有标记;这类演练每季度做一次。比看文档可靠。

适用与不适用

适合谁

  • 准备训练或微调模型、要过评审的项目组
  • 用检索增强做内部知识助手的企业
  • 需要向法务说明语料来源与合规的团队

不适合谁

  • 只做接口调用、不接触企业数据的项目
  • 尚无知识库与语料治理基础的小团队

典型场景

某企业的知识助手接入了制度、合同与工单三类文档,最初所有登录用户都能检索到合同原文。项目组给文档加级别标签,检索时按用户部门过滤,合同类只对法务与商务开放;同时把微调权重按合同级别管理,导出走审批。抽查时用敏感样本验证,未再出现越权召回。

可执行步骤

  1. 给每个语料来源打上来源与级别标签,入集前完成脱敏,留处理记录,便于追溯
  2. 知识库文档加级别标签,检索时按用户身份与部门过滤,防止越权召回,逐库核对
  3. 微调权重与嵌入按训练数据最高级别管理,导出走审批,不放进公共仓库
  4. 输出侧加敏感模式拦截与命中记录,按月抽检命中情况,并调整拦截规则
  5. 每季度用敏感样本走一遍从检索到输出的全链路验证,保留记录,形成报告
安全、合规与数据类目结构示意图
类目示意图:安全、合规与数据通用流程示意 · 上岸智源

常见坑

  • 语料不分级直接训练,模型记住身份证号,清除只能重训,工期与成本都翻倍,还未必处理得干净,很难补救。
  • 知识库只做登录校验,任何账号都能检索到合同原文,越权召回毫无感知,出事后无法界定范围,风险难控。
  • 微调权重当普通构件放公共仓库,训练数据随参数一起流出,对外分享后很难收回,也说不清流向。
  • 输出侧没有兜底,模型把检索到的敏感片段原样拼进回答,一次失误就是一次泄露,用户投诉随之而来。
讲师在舞台大屏前授课
舞台授课:大屏与讲台自有素材

自检与验收清单

  • 语料是否标级,并在入集前完成脱敏与留痕,有记录
  • 知识库是否按文档级别过滤检索,防止越权召回
  • 模型产物是否按训练数据的最高级别管理并留痕
  • 输出侧是否有敏感模式拦截,并保留命中记录,可回放
  • 是否每季度用敏感样本做一次全链路验证,并有报告

常见问题

开源模型的微调权重也要管吗?

要管。权重里可能记住训练数据片段,尤其是小数据集微调;管理强度按训练数据的最高级别定,而不是按模型是否开源。对外分享权重前做一次抽样检测,比事后解释更省事。

向量库里的向量算敏感数据吗?

通常算衍生数据,敏感度不低于原文,因为可以通过向量检索还原近似内容。访问控制、加密与审计要覆盖向量库本身,不能只保护原始文档;删除原文时也要同步删除对应向量,否则残留仍可被检索。

知识库权限配错了怎么发现?

用不同角色的测试账号做交叉检索:普通员工能否检索到合同、外部顾问能否看到薪酬制度。把这类检查写进上线清单与季度巡检,比等员工反馈更可靠;发现问题要同时修权限与清理缓存。

参考来源

  1. 中华人民共和国数据安全法 全国人民代表大会常务委员会 · 2021
  2. 网络数据安全管理条例(国务院令第790号) 国务院 · 2024
  3. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023