样本怎么造
从已结案合同里选,覆盖不同类型、不同版本与发生过争议的合同,并由法务标注标准答案:哪些条款必须提示、哪些属于可接受偏离。为什么强调争议过的合同:它们最能暴露真实风险点;用普通合同做样本,测出来的准确率往往偏乐观。

定位与召回
定位看提示是否指到正确条款与页码,召回看应提示的条款有没有漏。两类要分开统计:定位不准会让法务反复查找,召回不足则直接漏掉风险。怎么做才可比:高影响条款全量核对,一般条款抽样,两类结果分别记录、分别设门槛,不用一个总数掩盖差异。
误报要能归因
误报率决定法务愿不愿意用。判定标准不是零误报,而是误报是否集中在可解释的类型,比如把行业惯例条款标为异常。边界在于:误报类型可归因、可通过调规则收敛,才算通过;只会说再调调模型的方案不能验收,也无法在上线后复现。
过程可回溯
每条提示要能还原到原文位置、命中的规则或模板条目,以及生成时的版本。为什么这是硬要求:审查结论可能进入谈判甚至争议处理,无法回溯的提示在复盘时等于没有依据,也无法判断是规则错还是解析错。
不通过怎么办
把四组指标、采样量、判定人与不通过的处理方式写进验收确认单:收窄合同类型、限期整改或按里程碑扣减。为什么这一条不能省:没有处置条款,验收会变成一次汇报;有了条款,团队才知道哪类问题必须在上线前解决,哪类可以带到运营期。
适用与不适用
适合谁
- 准备与供应商签验收条款的法务负责人
- 有已结案合同与争议案例可作样本的企业
- 需要向管理层说明审查质量口径的团队
不适合谁
- 没有历史合同、只能靠现场演示验收的项目
- 希望用提示条数证明效果并据此付款的团队
典型场景
某制造企业用三十份已结案合同做验收,其中十份曾发生争议。法务逐条标注必须提示的条款,首轮测试发现附件解析不全导致漏检,定位准确但召回不足;范围先收到正文审查,附件解析修复后复测,才扩展到全套合同。
可执行步骤
- 选已结案合同做样本,优先包含发生过争议的合同,覆盖多附件与扫描件场景
- 由法务标注必须提示条款、可接受偏离与标准答案,不用模型生成的清单替代
- 分别统计定位准确与召回,高影响条款全量核对,一般条款按比例抽样
- 归类误报类型,判断是否能通过规则收敛,不能收敛的不作为验收通过
- 逐条检查每条提示能否回溯到原文位置、命中的规则版本与生成时间点
- 把不通过的处置写进验收确认单,约定复测时点、判定人与收窄范围
常见坑
- 用模型自己生成的条款清单当标准答案,验收变成自证,真实漏检无法发现,上线后问题集中爆发。
- 只统计审出多少条风险,提示越多看起来越好,法务被无效提示淹没后直接弃用工具,再推就难了。
- 样本全是标准合同,长尾与附件场景没覆盖,上线后遇到复杂合同大面积失效,返工要从头再来。
- 提示无法回溯到原文位置,法务核对成本高于人工通读,工具很快被搁置,投入变成沉没成本。

自检与验收清单
- 样本是否包含争议过的合同与多附件、扫描件场景
- 标准答案是否由法务逐条标注,而非模型自行生成
- 定位与召回是否分别统计,并分别设定通过门槛
- 误报类型是否可归因,能否通过调整规则收敛
- 每条提示是否可回溯到原文位置与当时的规则版本
常见问题
召回率要多少才算通过?
按条款风险等级分层设门槛,高影响条款要求接近全对,一般条款可以宽松。用一个总体数字会掩盖高风险漏检;合同审查风险不对称,漏一条的代价通常远大于多提示若干条。
附件多的合同怎么验收?
单独构造样本,检查附件是否被完整解析、正文与附件是否做了交叉比对。附件解析是最常见的失效点,很多方案在正文上表现良好,一到附件就漏读或串页,而关键条款常在附件里。
上线后怎么保持质量?
用同一批样本按月回归,模板或规则变更后必须重跑;同时统计法务的实际采纳与忽略,忽略集中的类型要复查。只做一次性验收的系统,半年后通常与验收结论不符。
