先证伪再训练
用检索与提示能解决的知识缺失不要上微调。先把同一批真实问题在现有方案上跑一遍，把错误分成缺知识、缺格式、缺判断三类；只有格式与行为类错误占多数，训练才有明确靶子，否则只是把同一种错误换了个说法，成本却翻倍。
数据即规格
数据集要写成输入与期望输出的配对，并附判定说明：哪些表述算合格、哪些必须拒答。样本取自真实工单与专家改写，同一问题保留多种合格写法，避免模型只学会一种腔调，换个客户或产品线就整批失效，返工要从标注重来。
留出集不可污染
训练前按时间或客户切分留出集，整个训练过程不得查看。验收看留出集上的格式合规率、关键字段准确率与拒答恰当性，而不是训练损失；损失一路下降而留出集纹丝不动的模型不能上线，只能回炉查数据与标注。
灰度与回滚
先对内部用户或小比例流量开放，同时保留旧链路，按错误类型逐日比对。出现系统性退化时要能在一个发布周期内回滚，并保留数据版本与推理配置，事后可复现同一批样本的结果，否则复盘只能靠回忆，交接也会断层。
合规与签认
对外提供生成式服务通常涉及备案与内容标识，申报与责任主体在客户方。我方提供评测记录、数据说明与技术材料，不替代备案申报，也不承担客户业务判断与签章责任，这条边界要写进项目确认单并在验收时逐项核对。
适用与不适用
适合谁
- 有稳定任务与历史样本沉淀的业务团队
- 输出格式严格、人工改写量大的场景
- 愿意指定业务专家做标注与复核的企业
不适合谁
- 主要问题是知识缺失或信息过时的项目
- 拿不出合格样本也没有复核人的团队
典型场景
某零部件企业的售后报告需要固定结构。团队抽取近两年的维修记录，由两名工程师改写成期望输出，按客户切分留出集；再用开源基座做参数高效微调，先在内部试用两周，比对格式合规率与工程师改写耗时，然后决定是否对经销商开放。
可执行步骤
- 把现有方案在同一批真实问题上跑一遍，把错误分成缺知识、缺格式、缺判断三类，并逐条记录归因
- 抽取真实样本并由业务专家改写，同时写清合格与不合格的判定口径，附上两条典型反例
- 按时间或客户切分留出集，训练阶段不查看，也不据它调整超参数，把它当作唯一考卷
- 用留出集验收格式合规率、关键字段准确率与拒答表现，逐项留下记录与截图
- 灰度开放并保留旧链路，按错误类型对比两周，再决定是扩展、调整还是停止
常见坑
- 拿网上公开指令集凑数，样本腔调与业务不符，模型学会的是通用话术，上线后仍需人工大幅改写，投入基本白花。
- 训练集与留出集来自同一批文档，指标虚高，换一批客户数据后准确率明显回落，团队却误以为是模型能力不行。
- 只盯训练损失下降，不设超范围与空输入样本，模型遇到没有依据的问题仍强行作答，对外沟通风险随之上升。
- 没有数据与模型版本记录，出问题后无法复现同一批样本的结果，回归测试只能凭印象判断好坏，交接也会断层。
自检与验收清单
- 是否已证明知识类问题能由检索与提示覆盖，再决定是否训练
- 样本是否带判定说明、典型反例与拒答示例，并经业务确认
- 留出集是否按时间或客户切分，并在训练中完全隔离
- 验收指标是否包含拒答恰当性与边界样本表现
- 数据、模型与推理配置是否都有版本记录，且可复现
常见问题
微调需要多少条样本？
没有统一门槛，取决于任务复杂度与输出结构。常见做法是先做两三百条高质量配对验证方向，看留出集是否收敛；样本再多，标注口径不一致也难稳定。先小后大，比一次堆量更可靠，也更省时间。
微调和检索增强该怎么选？
缺知识用检索，缺格式与行为用微调，两者常叠加使用。检索解决时效与出处，微调降低对超长提示的依赖。若回答错误主要来自信息缺失，应先把检索与知识整理补好，再谈训练。
微调后的模型能对外提供服务吗？
取决于业务形态与合规要求。面向公众提供生成式服务通常涉及备案与内容标识，责任主体是服务提供者；内部使用也要过数据分级与安全评审，这部分需客户方合规与法务确认。