先统一测试材料
各家用自己的文档演示，结果无法比较。做法是准备同一套材料：三十道问题、二十份真实文档、三个权限场景，提前发给所有候选并在测试当天冻结。怎么处理涉密：先签保密协议，材料只用于本次评测，用完归档。
四项口径拉平
问题集、文档集、权限场景与计时方式必须一致，否则差异会被材料难度掩盖。怎么拉平：同一台机器、同一个网络、同一批账号，规定从提问到给出引用的计时口径，并记录超时与重试，而不是只记成功问答。
盲评与同日测试
把产品名隐去，由同一组评审按同一张评分表打分，能减少品牌偏见。为什么同日：不同日期的网络、模型版本与文档状态都会变。边界是产品方可以处理自身故障，但不能提示答案或引导提问方向。
比条款而非印象
测试结束后，差异最大的往往不是效果，而是数据使用、留存期限、退出与删除、升级通知这些条款。怎么比：把条款拆成条目逐项对照，缺项的方案按最差处理，并要求书面补充，口头承诺不计入评分，记录后归档。
适用与不适用
适合谁
- 准备在两到四家知识库产品间定案的企业
- 需要把比较过程留痕、供审计复核的团队
不适合谁
- 只有一家候选、没有真实比较需求的采购
- 已决定合作、只想补一份流程材料的单位
典型场景
某集团信息部组织三家知识库产品同日测试：统一三十道问题与二十份文档，隐去品牌后由业务、IT、法务各出两人打分，记录引用定位、拒答与耗时；会后按条款表补齐缺项，由主持人逐条确认记录完整，形成带分歧说明的决策备忘。
可执行步骤
- 准备统一的问题集、文档集与三个权限场景，提前发给候选并在测试前冻结
- 约定测试机器、网络、账号与计时口径，明确从提问到引用的记录方式与超时处理
- 隐去产品名，组织同一组评审按同一张表打分，逐条记录分歧点、理由与复核人
- 汇总总分、条款差异与否决项，形成书面决策备忘，交决策会存档并明确责任人
常见坑
- 各家用自己的文档与题目演示，难度不同，比较结果被材料差异掩盖，评审只能凭印象投票，结论也难复现。
- 只看效果不问条款，签约后才发现数据会被用于训练，退出时又无法导出，迁移成本远高于当初的价差。
- 评审表只有分数没有备注，两家接近时无法解释差异，决策会变成互相说服，事后复盘也找不到依据。
自检与验收清单
- 问题集、文档集与权限场景是否同一套，且测试前已冻结
- 计时方式与记录口径是否提前书面约定，并有人核对
- 是否隐去产品名，并由同一组评审按同一张表打分
- 条款缺项是否按最差处理，并要求书面补充后复核
常见问题
只有两家要不要做盲评？
建议做。两家更容易被品牌与销售关系影响，盲评能把注意力拉回测试结果。成本不高：隐去名称、统一材料、同一组人打分即可，半天到一天就能完成，材料还能复用到下一轮采购。
测试要多长时间？
单轮两到三小时足够跑完三十道题，但准备材料要一到两天。若文档量大或需要权限演练，建议分成两个半场，中间留时间核对记录，避免评审疲劳导致后半程打分随意，结论也会失真。
供应商能不能现场答疑？
可以答疑，但不能提示答案。建议约定：产品故障可由厂商处理，提问与打分环节厂商退场；若必须留场，由主持人统一转述问题，避免厂商把问题引向自己擅长的部分，影响可比性。