先判断是否真的需要微调

知识缺失应该用检索补,格式与风格不稳定才考虑微调。很多项目上微调,是因为检索没做好或提示写得含糊,结果训练完发现知识仍然不准,只是语气变了。立项前先用检索加提示跑一版基线,能省下大量无效投入。

电商仓储与订单处理场景
电商仓储:订单与库存场景自有素材

数据质量决定上限

微调需要的是成对的输入与期望输出,且标注口径要一致。同一类问题出现三种写法,模型学到的就是摇摆不定的风格;数据量不必很大,但分布要覆盖真实场景,标注规范要写清楚什么算对、什么算错。

训练方式按目标选

全参训练成本高、周期长,适合数据充足且效果要求高的场景;参数高效方法成本低、迭代快,多数企业场景够用。选择时应结合显存、数据规模与迭代频率,而不是只看公开榜单上的效果对比,那些条件通常与自身环境差别很大。

评测要比基线而非只看分数

训练前后用同一批样本对比,并加入人工盲评,重点看错误类型是否减少。只看自动指标容易得出乐观结论,尤其在格式类任务上;盲评能发现「看起来更顺但事实错误」的问题,这类问题上线后代价最高。

私有化部署包含运维

私有化不只是把模型放进机房,还包括推理服务、显存规划、版本升级与监控告警。缺少运维方案时,模型上线后一旦出现性能下降或服务中断,恢复时间会很长,业务方也会对整套方案失去信心;也影响后续迭代节奏。

适用与不适用

适合谁

  • 数据敏感、不能调用外部模型的场景
  • 输出格式与术语要求稳定、可接受标注投入的业务
  • 已有一定样本积累、能组织标注人力的企业

不适合谁

  • 知识缺失为主、检索尚未做好的项目
  • 样本极少、又无法补充标注样本的团队

典型场景

某医疗信息化企业希望模型按固定格式输出结构化报告。团队先做检索加提示的基线,发现格式仍不稳定,遂转入微调。用三个月的历史报告做样本,标注规范写清字段边界,先小样本验证再全量训练,最终在私有化环境上线,推理服务与监控一并交付。

可执行步骤

  1. 先用检索加提示跑基线,确认问题是否真在模型侧,避免无效训练与投入浪费
  2. 整理成对的输入与期望输出,写清标注规范与判定口径,并做一致性校准,避免各写各的
  3. 按数据规模与迭代频率选择训练方式,先做小样本验证,再决定是否全量
  4. 用同一批样本做前后对比,并加入人工盲评看错误类型,而不只看自动分数
  5. 私有化上线时一并交付推理服务、容量说明与监控告警,并约定升级方式
解决方案与项目开发类目结构示意图
类目示意图:解决方案与项目开发通用流程示意 · 上岸智源

常见坑

  • 用微调去补知识,训练完知识仍然不准,只是语气变了,几周时间与算力全白费,投入产出完全不成比例。
  • 标注口径不统一,同类问题三种写法,模型学出摇摆风格,上线后输出质量时好时坏,排查困难且整改成本更高。
  • 只看自动指标不看盲评,格式对了但事实错误增加,上线后后果由业务方承担,返工与解释成本都很高。
  • 私有化只交付模型权重,没有推理服务与监控,出故障时恢复时间不可控,业务连续性也随之受影响。
桌面上的笔记本电脑与方案界面
方案桌面:规划与汇报自有素材

自检与验收清单

  • 是否已用检索加提示跑过基线,是否有对比结论
  • 样本是否成对且标注口径统一,是否有争议处理规则
  • 训练方式是否与数据规模匹配,是否与显存匹配
  • 评测是否含人工盲评与错误类型对比,是否覆盖典型任务
  • 私有化是否含推理服务与监控方案,是否包含告警

常见问题

微调能替代知识库吗?

不能。微调改变的是表达方式与输出习惯,知识仍来自训练数据,无法随政策更新而自动变化。需要频繁更新的知识应放在检索侧,微调只负责让输出更符合业务格式与术语习惯。

样本要多少才够?

取决于任务复杂度与格式要求,格式类任务通常几百到几千条即可见效,复杂推理类需要更多。与其纠结数量,不如先把分布覆盖到真实场景与典型例外,再用小样本验证效果是否随数据增加而改善。

私有化一定要买显卡吗?

不一定。可以先用云上专有实例或托管私有化方案验证,再决定是否采购硬件。关键是先算清推理并发与响应时间要求,再倒推显存与卡数,否则容易买多闲置或买少不够,两种情况都会影响项目推进。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 全国一体化大数据中心协同创新体系算力枢纽实施方案 国家发展改革委等四部门 · 2021
  3. 中国电子技术标准化研究院(官网) 中国电子技术标准化研究院(CESI) · n.d.