维度一:检索可回溯

回答要能定位到具体文档与段落,才能被业务信任并复核。怎么看:用同一批问题测试,检查引用是否指向原文、页码是否准确、找不到依据时是否拒答。只给相似片段、不给出处的产品,不适合制度与合规问答。

课堂现场:成排学员面向讲台
成排就座:课堂听讲自有素材

维度二:内容治理

权限要能继承源系统,文档要有版本与失效标记,离职调岗后访问范围自动收敛。为什么重要:知识库最常见的事故是越权检索与过期制度仍在生效。打分时让供应商现场演练一次权限变更与一次制度换版。

维度三:同步接入

看支持哪些源系统、是否增量同步、失败是否告警、删除是否同步。怎么判断:要求现场接一个你的真实文档目录,观察首次导入时长与增量更新结果,而不是只数连接器清单有多长,并记录导入耗时。

维度四:回答部署

回答要能限定范围与格式、在证据不足时拒答;部署形态要匹配数据分级。边界在于 SaaS 产品即使加密,数据仍可能离开内网,涉及核心工艺或客户信息的场景需要专属实例或本地部署,提前做数据分级。

适用与不适用

适合谁

  • 制度、规范与工艺文档密集的中大型企业
  • 正在比较三家以上知识库产品的信息部门

不适合谁

  • 文档量很少、同类问题重复率低的团队
  • 希望导入即用、不准备配内容负责人的单位

典型场景

某设计院要把规范、图集与内部评审要点做成问答库。信息中心组织结构、暖通、电气三个专业各出十五道题,要求三家产品在同一批文档上作答,并现场演示权限变更与规范换版;评审组按六维打分,最终由总工办复核引用准确性。

可执行步骤

  1. 按专业各出十到十五道题,覆盖可答、不可答与越权访问三类,并标注期望出处
  2. 在看方案前确定六个维度的权重,并写下至少两条一票否决项与判定标准
  3. 要求候选产品在自家文档上现场导入、作答,并展示每条引用的定位与页码
  4. 组织校准会统一评分尺度,合成总分并逐条记录分歧点、理由与复核人签字
  5. 把总分、否决项结论与合同条款差异一并提交决策会,形成书面结论并存档
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 只测问答流畅度,不核对引用出处,上线后业务发现答案对不上原文,信任迅速下降,返工也难,责任难划清。
  • 权重在看方案之后临时调整,哪家演示好看就往哪边偏,打分表失去约束力,评审结论也难服众,复审时更说不清。
  • 忽略删除与失效同步,旧制度下线后仍被检索到,回答继续引用已废止条款,形成合规风险且难追溯。
女讲师在台前讲解流程图
讲师讲解:流程图与要点自有素材

自检与验收清单

  • 问题集是否覆盖可答、不可答与越权访问三类情形
  • 六个维度的权重是否在看方案之前确定并公布,定期复查
  • 是否现场验证引用定位、权限变更与制度换版全流程
  • 一票否决项是否控制在两条以内且判定标准清晰

常见问题

六个维度哪个权重最高?

检索可回溯与内容治理通常权重最高,因为二者决定答案能不能被复核、会不会越权。同步与部署次之,迁移成本作为长期项。权重应在看方案前确定,并向所有候选公布同一套口径。

开源产品要不要纳入比较?

可以,但要把部署、调优与内容治理的人力算进去。开源省的是许可,不省运维;若团队没有检索调优经验,实际效果可能低于商用产品,建议先做小范围技术验证再决定是否扩大。

打分表能替代试用吗?

不能。打分表用于统一口径,试用才能暴露真实文档下的表现。两者应配合:先用打分表筛到两三家,再用同一批文档与问题做两到四周试用,最后按试用结果修正分数并留档。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中国信通院 权威发布·专题报告栏目 中国信息通信研究院 · n.d.
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022