文档要能解析

扫描件、加密文档、图片型表格无法直接切分,需要先做文字识别与校对。怎么估算工作量?抽样二十份统计可解析比例,低于一半时先安排清洗,否则导入的是一堆无法引用、也无法溯源的文本,不如先清洗。

电商仓储与订单处理场景
电商仓储:订单与库存场景自有素材

版本与重复先处理

同一制度存在多个版本、同一手册散落多处,是检索失真的主因。做法是按标题与生效日期去重,保留最新版并标注替代关系;边界是历史版本不要直接删除,应转为归档并对检索隐藏,避免误引与重复引用。

权限来源要清楚

文档可见范围通常来自组织架构与项目归属,若这两者没有系统化记录,权限只能按部门粗分。粗分不是错,但边界要写清:粒度与例外处理方式,避免上线后被要求做到人级隔离却无从下手,也不至于返工。

更新机制比导入重要

知识库的价值取决于最新版本能否及时入库。怎么更新?需要约定触发条件,如制度修订、产品变更、客诉新增,并指定责任岗位;没有触发机制时更新全靠临时提醒,三个月后内容开始失真,检索结果不再被信任。

适用与不适用

适合谁

  • 文档分散在共享盘、邮件与个人电脑的企业
  • 涉及客户资料、需要评估部署方式的项目
  • 存在多版本制度、检索结果经常冲突的组织

不适合谁

  • 文档量极少且几乎不更新的个人使用场景
  • 拒绝做权限与脱敏评估、要求直接上公有云的项目

典型场景

某设计院想把规范、图集与项目复盘文档做成内部检索。抽样发现三成文件是扫描件,两份规范存在新旧版本,项目文档含客户名称。团队先做识别校对与去重,对客户信息脱敏,再选定内网部署,切分与评测在清洗完成后才开始。

可执行步骤

  1. 抽样统计文档格式、可解析比例与重复情况,估算清洗工时
  2. 按标题与生效日期去重,历史版本转为归档并对检索隐藏
  3. 梳理部门与项目归属,确定权限粒度以及例外的处理方式
  4. 约定更新触发条件与责任岗位,并完成数据分级与部署评估
解决方案与项目开发类目结构示意图
类目示意图:解决方案与项目开发通用流程示意 · 上岸智源

常见坑

  • 跳过可解析性评估,导入后大量文档无法检索,返工要重做切分与索引,工期被迫顺延,预算也跟着超。
  • 新旧版本同时入库且不标注,答案引用已废止条款,业务按错的规范执行,纠正成本很高。
  • 未做脱敏就上传客户资料,事后追溯与删除困难,合规责任仍由使用方承担,事后补救空间很小。
天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

自检与验收清单

  • 可解析文档的占比是否已抽样估算
  • 重复与历史版本是否有明确处理规则
  • 权限粒度与例外处理是否书面确认
  • 更新触发条件与责任人是否明确到岗

常见问题

扫描件很多,必须先做识别吗?

要,但可以分批。先把高频使用的扫描件做识别与人工校对,其余保留原文件链接并提示查阅原件。识别结果必须有人校对,否则错误会以答案形式传播,比查不到更难纠正。

知识库一定要内网部署吗?

看内容。公开制度与产品资料用云端服务通常可行;含客户信息、合同条款或个人信息时,建议内网或专有实例,并在合同中约定数据不用于训练、可导出删除,并保留删除凭证。

权限只能按部门分,够用吗?

多数场景够用,但要写明例外:跨部门项目、临时借调、外部合作方。例外必须有审批与到期时间;若例外长期存在,说明权限模型需要细化,而不是靠个案处理,否则审计时无法解释。

参考来源

  1. 中华人民共和国数据安全法 全国人民代表大会常务委员会 · 2021
  2. 网络数据安全管理条例(国务院令第790号) 国务院 · 2024
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024