样本怎么造

从已结案合同里选,覆盖不同类型、不同版本与发生过争议的合同,并由法务标注标准答案:哪些条款必须提示、哪些属于可接受偏离。为什么强调争议过的合同:它们最能暴露真实风险点;用普通合同做样本,测出来的准确率往往偏乐观。

学员前排视角:大屏展示流程对照表
前排视角:流程与对照自有素材

定位与召回

定位看提示是否指到正确条款与页码,召回看应提示的条款有没有漏。两类要分开统计:定位不准会让法务反复查找,召回不足则直接漏掉风险。怎么做才可比:高影响条款全量核对,一般条款抽样,两类结果分别记录、分别设门槛,不用一个总数掩盖差异。

误报要能归因

误报率决定法务愿不愿意用。判定标准不是零误报,而是误报是否集中在可解释的类型,比如把行业惯例条款标为异常。边界在于:误报类型可归因、可通过调规则收敛,才算通过;只会说再调调模型的方案不能验收,也无法在上线后复现。

过程可回溯

每条提示要能还原到原文位置、命中的规则或模板条目,以及生成时的版本。为什么这是硬要求:审查结论可能进入谈判甚至争议处理,无法回溯的提示在复盘时等于没有依据,也无法判断是规则错还是解析错。

不通过怎么办

把四组指标、采样量、判定人与不通过的处理方式写进验收确认单:收窄合同类型、限期整改或按里程碑扣减。为什么这一条不能省:没有处置条款,验收会变成一次汇报;有了条款,团队才知道哪类问题必须在上线前解决,哪类可以带到运营期。

适用与不适用

适合谁

  • 准备与供应商签验收条款的法务负责人
  • 有已结案合同与争议案例可作样本的企业
  • 需要向管理层说明审查质量口径的团队

不适合谁

  • 没有历史合同、只能靠现场演示验收的项目
  • 希望用提示条数证明效果并据此付款的团队

典型场景

某制造企业用三十份已结案合同做验收,其中十份曾发生争议。法务逐条标注必须提示的条款,首轮测试发现附件解析不全导致漏检,定位准确但召回不足;范围先收到正文审查,附件解析修复后复测,才扩展到全套合同。

可执行步骤

  1. 选已结案合同做样本,优先包含发生过争议的合同,覆盖多附件与扫描件场景
  2. 由法务标注必须提示条款、可接受偏离与标准答案,不用模型生成的清单替代
  3. 分别统计定位准确与召回,高影响条款全量核对,一般条款按比例抽样
  4. 归类误报类型,判断是否能通过规则收敛,不能收敛的不作为验收通过
  5. 逐条检查每条提示能否回溯到原文位置、命中的规则版本与生成时间点
  6. 把不通过的处置写进验收确认单,约定复测时点、判定人与收窄范围
能力、岗位与硅基员工类目结构示意图
类目示意图:能力、岗位与硅基员工通用流程示意 · 上岸智源

常见坑

  • 用模型自己生成的条款清单当标准答案,验收变成自证,真实漏检无法发现,上线后问题集中爆发。
  • 只统计审出多少条风险,提示越多看起来越好,法务被无效提示淹没后直接弃用工具,再推就难了。
  • 样本全是标准合同,长尾与附件场景没覆盖,上线后遇到复杂合同大面积失效,返工要从头再来。
  • 提示无法回溯到原文位置,法务核对成本高于人工通读,工具很快被搁置,投入变成沉没成本。
企业课堂:学员围桌而坐,前方大屏投影
课堂全景:学员与投影大屏自有素材

自检与验收清单

  • 样本是否包含争议过的合同与多附件、扫描件场景
  • 标准答案是否由法务逐条标注,而非模型自行生成
  • 定位与召回是否分别统计,并分别设定通过门槛
  • 误报类型是否可归因,能否通过调整规则收敛
  • 每条提示是否可回溯到原文位置与当时的规则版本

常见问题

召回率要多少才算通过?

按条款风险等级分层设门槛,高影响条款要求接近全对,一般条款可以宽松。用一个总体数字会掩盖高风险漏检;合同审查风险不对称,漏一条的代价通常远大于多提示若干条。

附件多的合同怎么验收?

单独构造样本,检查附件是否被完整解析、正文与附件是否做了交叉比对。附件解析是最常见的失效点,很多方案在正文上表现良好,一到附件就漏读或串页,而关键条款常在附件里。

上线后怎么保持质量?

用同一批样本按月回归,模板或规则变更后必须重跑;同时统计法务的实际采纳与忽略,忽略集中的类型要复查。只做一次性验收的系统,半年后通常与验收结论不符。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022