泛化:规则与小模型
传统 NLP 针对固定类别训练,边界清晰、结果稳定;大模型能处理未见过的表达,但同一输入的输出可能有差异。选择取决于任务的表达是否可枚举,而不是哪个技术更新。
开发:特征与提示
传统方案大量时间花在标注与特征工程上,大模型把部分工作转移到提示设计、检索与评测。工作量没有消失,只是位置变化,评测反而变得更重要,因为不确定性更高。
可解释:分数与理由
分类模型能给出置信度与特征贡献,大模型给出的理由未必是真实决策依据。涉及审计的场景,应保留原文引用与规则校验,而不是只留一段模型自己写的解释。
维护:重训与改知识
类别变化时传统模型需要重新标注与训练,大模型可通过知识与提示快速适配。但适配快也意味着变更频繁,需要版本与回归管理,否则质量会悄悄漂移。
组合:抽取加规则校验
实践中常用大模型做抽取与理解,用规则校验格式、枚举与业务约束。纯靠模型输出直接入库,错误会在下游放大,排查成本远高于在入口加一层校验。
适用与不适用
适合谁
- 正在评估是否替换既有 NLP 系统的团队
- 需要向业务解释准确率波动的技术负责人
- 做文档抽取与分类选型的架构师
不适合谁
- 类别固定、样本充足且规则清晰的分类任务
- 要求完全可复现输出的审计系统
典型场景
某企业的合同要素抽取原本用规则加小模型,遇到新表述就失效。改为大模型抽取加字段规则校验后,新格式适应更快,但团队保留抽检比例,确保关键字段准确。
可执行步骤
- 判断任务表达是否可枚举
- 统计现有方案的失效原因与分布
- 用大模型做抽取,规则做校验
- 对关键字段保留人工抽检
- 记录每次调整的评测对比
常见坑
- 用总体准确率掩盖关键字段错误,实际风险集中在少数字段。
- 把模型给的解释当审计依据,事后无法还原判断过程。
- 完全弃用规则校验,格式错误直接入库,下游系统批量失败。
- 类别变化后仍沿用旧评测集,指标虚高,误判为方案可用。
自检与验收清单
- 是否区分关键字段与一般字段
- 是否保留规则校验
- 是否记录原文引用
- 评测集是否随类别更新
- 关键字段是否有抽检比例
常见问题
大模型能完全替代传统 NLP 吗?
不能。类别固定、要求高稳定与可复现的任务,传统方案仍有优势;大模型更适合表达多样、边界模糊的文本处理。
准确率怎么比较才公平?
用同一批真实样本、同一套字段定义与抽检规则比较,并分别统计关键字段与一般字段。只比总体数字容易误判。
审计场景该怎么留痕?
留存输入原文、抽取结果、规则校验结果与人工确认记录。仅保存一段模型解释,无法支撑事后审计。
什么情况下不该换掉现有方案?
类别固定、标注样本充足、输出要求完全可复现的任务,现有规则或小模型更稳,替换只会增加不确定性与维护面。可以先让大模型做离线对比,若关键字段没有明显提升,就保留原方案,把预算放到知识整理与评测上。
