字段抽取要准

先看结构化字段是否抽对:品类、规格、数量、交期、单价与税率。用历史单据做回归集,逐字段统计错误并分类。错误集中在哪一类,就说明那类模板还没做好,补模板比调模型更快,也更可控,返工也更少。

企业课堂:学员围桌而坐,前方大屏投影
课堂全景:学员与投影大屏自有素材

比价口径要一致

同一物料在不同供应商处的计价单位、含税方式与运费承担常不一致。验收时抽若干组报价,核对折算是否正确、异常是否被标出。口径错了,比价结论就没有意义,谈价也会谈错方向,甚至签错合同。

条款不能漏检

付款账期、质保期、违约责任与验收标准是关键条款,要检查偏离是否被提示、位置能否回溯到条款号。漏检一条关键条款,可能带来实际损失。这类提示要按零漏检设计,而不是按比例抽检,否则等于赌。

权限与留痕

系统不得越权查看或修改审批数据,账号按角色授权,提示与处理动作都要留痕。验收时做一次越权测试,确认普通账号看不到其他品类的报价。一次误看就可能引发内部纠纷,也很难向审计解释。

提示要能闭环

除了准确率,还要看提示有没有被处理:谁在什么时间确认或驳回、驳回原因是否记录。无人处理的提示等于没有提示,这一项要在验收报告里体现。否则上线后很快回到人工,投入看不出效果,也难续期。

适用与不适用

适合谁

  • 准备采购类 AI 项目验收的采购与信息化部门
  • 需要向管理层解释投入产出的负责人

不适合谁

  • 把验收简化为一次演示,不做抽检与签认的组织
  • 没有历史单据可做回归集,也没有真实报价样本

典型场景

某集团验收采购助手时,从系统里抽了四十张历史申请与十二组报价,逐字段核对抽取结果,又请法务看条款偏离提示。发现两处税率字段抽错,原因是模板把含税价标成了不含税,修正后重抽一遍才签字。

可执行步骤

  1. 从历史单据中抽取覆盖主要品类的样本,必须包含纸质与扫描件两种形态
  2. 逐字段核对抽取结果,把错误按类型归类,并记录出现频次与具体位置
  3. 抽若干组报价验证折算口径,必须覆盖运费、账期与税率三种换算方式
  4. 请法务逐条核对关键条款的偏离提示,并确认回溯位置是否准确可用
  5. 做一次越权访问测试,同时检查留痕完整性与记录导出功能是否可用
能力、岗位与硅基员工类目结构示意图
类目示意图:能力、岗位与硅基员工通用流程示意 · 上岸智源

常见坑

  • 验收只看界面顺不顺手,不看字段对不对,上线后比价结论不可信,还得回头补数据。字段核对必须逐项做。
  • 样本全挑格式规整的电子单据,纸质与扫描件的问题被掩盖,真实场景立刻暴露。抽检比例要按单据形态调整。
  • 没有越权测试,普通账号能看到全部报价,事后难以追责,也无法向审计解释权限设计。权限要在上线前定。
俯拍桌面与协作中的团队
团队协作:电脑与文件自有素材

自检与验收清单

  • 回归集是否覆盖主要品类,以及两种单据形态
  • 税率与计价单位是否单独核对,并留存核对记录
  • 关键条款的偏离是否逐条检查,并留下书面结论
  • 是否做过越权访问测试,并检查留痕是否完整

常见问题

准确率定到多少才合理?

不同品类差异很大,写死一个数字意义有限。更稳的是分品类设定可接受区间,并约定错误类型的处理方式,例如税率与数量字段必须零错误,模糊字段允许人工确认。

验收由谁签字?

业务侧由采购负责人签字,系统侧由信息化负责人签字,涉及条款的部分由法务出具意见。三方签认的记录归档,作为后续变更的基线,换人或换系统时都要以它为准。

上线后指标下降怎么办?

先看是数据变了还是规则过期:新品类、新供应商或新模板都会拉低准确率。约定按季度复评,指标下滑时先补样本与规则,再谈是否调整范围,不要直接归因于模型能力。

参考来源

  1. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022