泛化:规则与小模型

传统 NLP 针对固定类别训练,边界清晰、结果稳定;大模型能处理未见过的表达,但同一输入的输出可能有差异。选择取决于任务的表达是否可枚举,而不是哪个技术更新。

开发:特征与提示

传统方案大量时间花在标注与特征工程上,大模型把部分工作转移到提示设计、检索与评测。工作量没有消失,只是位置变化,评测反而变得更重要,因为不确定性更高。

可解释:分数与理由

分类模型能给出置信度与特征贡献,大模型给出的理由未必是真实决策依据。涉及审计的场景,应保留原文引用与规则校验,而不是只留一段模型自己写的解释。

维护:重训与改知识

类别变化时传统模型需要重新标注与训练,大模型可通过知识与提示快速适配。但适配快也意味着变更频繁,需要版本与回归管理,否则质量会悄悄漂移。

组合:抽取加规则校验

实践中常用大模型做抽取与理解,用规则校验格式、枚举与业务约束。纯靠模型输出直接入库,错误会在下游放大,排查成本远高于在入口加一层校验。

适用与不适用

适合谁

  • 正在评估是否替换既有 NLP 系统的团队
  • 需要向业务解释准确率波动的技术负责人
  • 做文档抽取与分类选型的架构师

不适合谁

  • 类别固定、样本充足且规则清晰的分类任务
  • 要求完全可复现输出的审计系统

典型场景

某企业的合同要素抽取原本用规则加小模型,遇到新表述就失效。改为大模型抽取加字段规则校验后,新格式适应更快,但团队保留抽检比例,确保关键字段准确。

可执行步骤

  1. 判断任务表达是否可枚举
  2. 统计现有方案的失效原因与分布
  3. 用大模型做抽取,规则做校验
  4. 对关键字段保留人工抽检
  5. 记录每次调整的评测对比

常见坑

  • 用总体准确率掩盖关键字段错误,实际风险集中在少数字段。
  • 把模型给的解释当审计依据,事后无法还原判断过程。
  • 完全弃用规则校验,格式错误直接入库,下游系统批量失败。
  • 类别变化后仍沿用旧评测集,指标虚高,误判为方案可用。

自检与验收清单

  • 是否区分关键字段与一般字段
  • 是否保留规则校验
  • 是否记录原文引用
  • 评测集是否随类别更新
  • 关键字段是否有抽检比例

常见问题

大模型能完全替代传统 NLP 吗?

不能。类别固定、要求高稳定与可复现的任务,传统方案仍有优势;大模型更适合表达多样、边界模糊的文本处理。

准确率怎么比较才公平?

用同一批真实样本、同一套字段定义与抽检规则比较,并分别统计关键字段与一般字段。只比总体数字容易误判。

审计场景该怎么留痕?

留存输入原文、抽取结果、规则校验结果与人工确认记录。仅保存一段模型解释,无法支撑事后审计。

什么情况下不该换掉现有方案?

类别固定、标注样本充足、输出要求完全可复现的任务,现有规则或小模型更稳,替换只会增加不确定性与维护面。可以先让大模型做离线对比,若关键字段没有明显提升,就保留原方案,把预算放到知识整理与评测上。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. The 2025 AI Index Report Stanford Institute for Human-Centered AI (HAI) · 2025
  3. 住房城乡建设部关于发布国家标准《建筑信息模型应用统一标准》的公告(GB/T 51212-2016) 住房和城乡建设部 · 2016