坑一：参数崇拜
参数规模与业务效果不是线性关系。盲目追求最大模型会带来更高延迟与成本，而任务本身可能只需要稳定的结构化输出，小模型加规则反而更合适，也更容易控制。
坑二：把模型当知识库
模型的知识停留在训练时点，且无法保证准确引用。企业制度、价格、资质这类必须准确的内容，应通过检索提供原文，而不是依赖模型记忆，否则错误无法被及时发现。
坑三：微调万能
微调擅长改变输出风格与格式，补不了缺失的事实与流程。知识频繁变化的场景，维护检索库比反复微调更经济，也更容易追溯每条依据来自哪份文件。
坑四：忽视上下文长度
超长输入会稀释关键信息，模型容易漏读条款或引用错误段落。应做分段、摘要与相关性筛选，并为长文档设计逐段核对的流程，而不是把整本材料一次丢进去。
坑五与坑六：生成当检索、不锁版本
让模型直接回答文件里写了什么而不提供原文，等于让它回忆；不锁定版本则无法解释质量波动，历史评测结论也会失效，供应商一升级，之前的验收记录就失去意义。
适用与不适用
适合谁
- 已完成初步选型的技术团队
- 遇到效果波动但找不到原因的团队
- 需要制定模型使用规范的企业
不适合谁
- 只使用成品应用、不接触模型配置的用户
- 知识完全不变化且任务极简的场景
典型场景
某企业的法务问答上线后，用户反馈有时引用旧版条款。排查发现系统让模型直接回答而不检索原文，且模型版本随供应商更新。团队改为检索原文加条款编号引用，并锁定版本。
可执行步骤
- 盘点哪些回答必须引用原文
- 为这些场景改为检索后生成
- 评估上下文长度与分段策略
- 明确微调与检索的适用分工
- 锁定模型版本并记录变更
常见坑
- 用模型回答政策条款却不给原文，出错后无法追溯依据。
- 为追新频繁换模型，评测基线失效，团队无法判断改动效果。
- 把长文档整篇输入，模型漏读关键条款，摘要出现偏差。
- 用微调记知识，政策一变就要重训，维护成本失控。
自检与验收清单
- 必须准确的回答是否检索原文
- 长文档是否做分段与相关性筛选
- 微调与检索的分工是否明确
- 模型版本是否锁定并记录
- 供应商更新是否有回归评测
常见问题
微调和检索该怎么选？
知识与事实用检索，风格与格式用微调。两者可以叠加：先检索保证依据，再用微调稳定输出格式与语气。
供应商升级模型怎么办？
先在评测集上跑回归，比较关键指标；确认无退化再切换。生产环境应保留可回退的旧版本配置。
小模型能用于生产吗？
在任务边界清晰、输出格式固定的场景可以，而且延迟与成本更优。前提是有评测集证明其在真实输入上的可用性。
怎么自查是否还在踩这些坑？
抽十条真实问题走一遍：回答能否点回原文、长文档是否分段核对、模型版本是否可查、改动前是否跑过回归。四项里有任何一项答不上来，说明仍停留在演示阶段。自查不必一次改完，但要有固定节奏与明确责任人。