题样从合同里出
不要用供应商自带的演示问题。由合同经理从本项目合同里挑十到二十个真实问题，覆盖定义、时限、变更、索赔与争议程序，另设两三个跨条款的综合问题，检验系统能否把相关条款串起来。题怎么出决定验收有没有效。
评三个硬指标
一看条号是否准确，二看原文摘录是否与合同一致，三看版本是否匹配。三项都对才算通过；条号对但原文被改写过的，按不合格处理，因为引用到函件里会失真，给对方留下把柄。边界是原文不得改写。
越界要单独记
如果系统直接给出索赔能否成立、责任应由谁承担的结论，应记为越界，即使结论碰巧正确也不加分。验收报告要把越界次数单列，作为是否上线、是否限制使用范围的判断依据，不能作为加分项。越界怎么算要提前约定。
复测用同一批题
整改后用同一批题样复测，便于对比。新增题目可以放，但不能替换原有题目，否则无法判断是否真的改善。复测仍不达标的模块，建议缩小使用范围，例如只做条款定位不做时限计算。复测怎么比对要同一批题。
评分口径先谈定
验收最容易起争议的是判定标准：条号对但原文被改写算不算通过，越界给出结论要不要扣分。这些应在采购或实施合同里先写清，而不是测试完再讨论。建议约定三项硬指标各自的通过线与不合格处理方式，例如原文改写一律判不合格，复测仍不达标则缩小使用范围。
适用与不适用
适合谁
- 准备采购或验收合同检索工具的企业
- 集团要对多个项目统一合同管理平台的单位
- 需要向管理层证明工具可靠性的合同部门
不适合谁
- 没有真实合同题样、只能看演示的单位
- 只关心界面易用、不看条款准确性的团队
典型场景
某集团验收合同检索工具，合同部从两个项目各出十个问题，覆盖索赔时限、定义与优先顺序。测试发现条号准确，但两处原文被改写、一处把专用条件修改漏掉。供应方修正后复测同一批题，越界提示从五次降到零，才同意在部分项目试用。
可执行步骤
- 由合同经理从两个真实项目中出题，覆盖定义、时限、变更、索赔与争议解决程序
- 为每道题编写标准答案，逐条标明准确的条号、合同版本以及原文摘录
- 逐题记录条号、原文与版本三项的通过情况，并分类统计各自的错误率高低
- 单独统计系统越界给出结论的次数、类型以及出现的具体场景分布情况
- 用同一批题样复测，仍然不合格的模块应缩小使用范围或暂缓上线，并书面告知
常见坑
- 用供应商准备好的演示题验收，题目都经过挑选，结果自然全部正确，实际上没验到风险。
- 只核对条号不核对原文，引用到对外函件里才发现文字被改写，处境非常被动，只能撤回重发。
- 系统越界给出结论也算正确，把工具能力评估得过高，后续使用中很容易被误用甚至误导决策。
- 复测时换了一批新题，前后结果无法比较，验收最终沦为走过场，原有问题依旧存在，没人再提。
自检与验收清单
- 题样是否来自真实合同，而不是供应商演示数据
- 题样是否覆盖五类条款，并包含跨条款综合问题
- 条号、原文与版本三项是否都逐一核对并记录
- 系统越界给出结论的次数与类型是否单独统计
- 整改完成后是否用同一批题样复测，并逐题比对
常见问题
题样要多少道？
十到二十道即可，关键在覆盖面和真实性。每类条款至少两题，另加两三个综合题。题量太大反而拖长验收周期，也会让评审人疲劳，影响判断质量，不如把题出精。
条号对但表述不同算通过吗？
视情况。若只是摘录断句，可通过；若改写了条件、主体或期限，应按不合格处理。合同引用讲究原文一致，差一个限定词都可能改变解释结果，不能图省事。
验收通过就能全公司推广吗？
建议先在两三个项目试用，观察实际使用中的误用与越界情况，再决定推广范围。验收题样只能证明能力下限，真实使用中的提问方式更随意，风险也更分散。