差异一:文档形态

客服材料多是短文本与话术,工程材料常是扫描图纸、表格与规范。怎么测:各取十份放进同一产品,看扫描件的识别质量、表格结构是否保留、图纸能否定位到图签。形态不匹配时,问答效果差与模型无关。

天平与待比较的文件资料
选型场景:权衡与对比自有素材

差异二:更新频率

制度与价格政策变化快,工艺文件相对稳定但版本多。为什么重要:更新慢的场景可以人工校对,更新快的场景必须靠增量同步与失效标记。选型时要问清同步周期、失败告警与旧版本下线方式,再判断维护量。

差异三:权限复杂

客服按项目分权,工程按专业与密级分权。怎么判断:画出权限矩阵,看产品能否按文档、目录、标签三个层级授权,以及离职调岗是否自动收敛。权限只能到部门级的产品,跨专业使用会很快卡住,后期改造也难。

差异四:问答类型

客服要的是标准答复与话术,工程要的是条款定位与计算依据。边界在于前者可以容忍概括,后者必须逐字引用并给页码。用客服语料测出来的高分,不能直接推断工程文档也能用,必须换材料重测。

适用与不适用

适合谁

  • 同时服务客服与技术部门的知识库项目
  • 需要判断产品在自己文档上是否可用的团队

不适合谁

  • 只有一类格式统一、内容稳定的文档的单位

典型场景

某装备制造企业用同一款产品做两个试点:客服问答两周上线,效果稳定;工程规范库在扫描图纸与表格上频繁失败。项目组改用带图签的清晰版本并单独建图纸管线,工程侧才达到可用,选型结论改成按部门分别评估并留档。

可执行步骤

  1. 按部门各取十份代表性文档,覆盖扫描件、表格与长文档,标明来源与版本,作为下一轮复盘的依据
  2. 各选十道典型问题,标明需要概括还是逐字引用,并注明期望出处与页码,明确完成时限
  3. 在两个部门分别跑两周,记录失败最多的文档类型与失败原因,并分类归因
  4. 画出权限矩阵,测试目录、文档与标签三级授权,并演练一次调岗与离职流程
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 拿客服语料做评测,再据此给工程部门选型,上线后扫描图纸大面积失败,项目被迫重来,工期与信心都受损。
  • 忽略表格与图纸的处理方式,导入后只剩纯文本,条款定位失效,工程师试用两次就不再打开,采购也难解释。
  • 权限只测管理员账号,跨专业访问的真实限制没验证,试用期结束才发现无法分权,改造又要重排期。
桌面上的笔记本电脑与方案界面
方案桌面:规划与汇报自有素材

自检与验收清单

  • 是否按部门各取代表性文档做测试,并记录版本,形成测试记录
  • 是否区分概括型与逐字引用型问题,分别计分并留档
  • 权限矩阵与目录、文档、标签三级授权是否验证通过
  • 结论是否按部门分别给出、留档,并注明适用条件,定期复查

常见问题

同一产品能不能全公司通用?

技术上可以,效果上要分场景。文档形态与权限差异大的部门,需要不同的切分与授权配置,甚至不同管线。建议先做一个部门,再复制配置到相似场景,差异大的单独评估,不要用一个分数定全局。

扫描件能不能直接用?

取决于清晰度与版式。图签、表格线清楚的扫描件通常可识别,手写批注与低分辨率图纸效果差。可行做法是先做小样本识别测试,再决定是否补做文字识别与人工校对,别直接整批导入。

更新频率高要不要换产品?

不一定。关键是产品是否支持增量同步、失败告警与旧版本下线。若都支持,高频更新反而更能体现价值;若只能整批重导,更新越快,维护负担越重,这时才需要考虑换方案或改流程。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中国信通院 权威发布·专题报告栏目 中国信息通信研究院 · n.d.
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022