错在哪一类
把最近一批失败案例归因：若多数是知识缺失或信息过时，微调帮不上；只有格式不合规、术语不统一、该拒答却作答这类行为问题占多数，训练才有靶子。一次归因统计通常就能筛掉一半设想，省下的钱比省下的时间更值。
样本能否拿到
需要的是带期望输出的真实配对样本，而不是文档段落。若业务方拿不出经专家确认的合格样例，或三个人对同一输入的合格判定不一致，先做样本工程，别急着训练，否则训出来的只是标注员偏好。
结果能否自动判
输出若是结构化字段、固定模板或可枚举类别，就能批量自动比对，收益可量化。若质量只能靠人读，评测成本会吞掉训练省下的时间，此时应先改输出形态，再判断是否值得训练，否则等于把人工成本挪了个位置。
任务是否稳定
业务口径半年一变、随政策调整的场景，训练成果很快过期，维护成本高于收益。稳定的表达风格、固定的报告结构、长期不变的术语体系，才值得固化成模型行为，其余部分留给提示与规则处理更划算。
成本是否真降
用小模型替代大模型调用能降延迟与用量，但会增加训练、评测与版本维护的固定投入。要把这部分摊到实际调用量上看，调用量小的业务往往不如继续用提示加检索，账要按年算而不是按月看。
适用与不适用
适合谁
- 有稳定任务与历史样本的业务团队
- 正为大模型调用成本或延迟发愁的技术负责人
- 输出格式要求严格、人工改写量大的场景
不适合谁
- 主要问题是知识缺失或时效过期的项目
- 拿不出合格样本、也没有评测人的团队
典型场景
某保险经纪的理赔说明需按监管口径写固定段落。团队统计近一季度退改原因，发现七成是格式与措辞不合规，知识缺失只占少数；再从存档中筛出经审核的合格文本做样本，用留出集比对格式合规率，才决定进入训练。
可执行步骤
- 抽取一个季度的失败案例，按错误类型逐条归因，并把各类占比统计到一张表
- 判断行为类错误是否占到多数，形成可过会的书面结论，并附上三条典型样例
- 确认能否稳定拿到经专家确认的合格样本与典型反例，同时说明来源与授权
- 把输出改成可批量比对的结构，再评估评测所需的人力与周期，避免只靠人读
- 用真实调用量测算训练、评测与维护的年度固定投入，再与现状成本做比较
常见坑
- 把知识问题误判成表达问题，训练后模型仍会编造缺失信息，只是语气更自信，风险反而更大，也更难被发现。
- 用满意度问卷代替可判定指标，结论随受访者变化，无法支撑投入决策，也无法向管理层解释，预算审议时站不住。
- 只算训练一次的成本，漏算评测集维护与版本回归的长期人力，半年后预算被追加时才追悔莫及。
- 样本由算法团队按技术偏好挑选，业务方复核时判定不可用，返工要从标注重来一遍，工期翻倍，士气也受影响。
自检与验收清单
- 失败案例是否做过归因统计，结论是否留档备查
- 行为类错误是否明显占到多数，是否有数据支撑
- 是否有经专家确认的样本来源与典型反例，并注明授权
- 输出能否批量自动比对与打分，评测成本是否可控
- 固定维护成本是否计入年度测算，并由财务确认
常见问题
样本不到一千条是不是没戏？
不是。任务越窄、输出越结构化，所需样本越少，关键是覆盖度与标注一致性。先用几百条做方向验证，看留出集指标是否收敛，再决定是否扩样，通常比一开始就堆量更省成本，也更容易发现问题。
提示工程能解决还需要微调吗？
若长提示已能稳定达标，微调的价值主要是降低提示维护成本与推理开销，而非提升上限。可以先用提示加评测跑一轮，把差距量化后再判断是否值得训练，避免重复建设。
微调会让模型忘掉通用能力吗？
过度训练确实会造成通用能力退化。常用做法是控制训练轮次、混入一部分通用样本，并在留出集上同时监测目标任务与通用任务的表现，任一明显退化就停下来调数据比例。