先做小样本可行性验证

用几百条样本跑一轮训练,确认效果是否会随数据增加而改善。若小样本上毫无变化,多半是任务不适合微调或数据口径有问题,此时停下来比继续投入更划算;验证通过后再安排全量标注,风险与成本都可控。

天平、文件与台灯的桌面特写
天平与文件:专业审查与判定自有素材

数据冻结是硬节点

标注完成后冻结数据版本,训练与评测都基于同一版本。数据在训练期间被修改,会让结果无法复现,也会让评测结论失去意义;冻结后如需调整,应作为新一轮实验重新记录,而不是在原版本上打补丁。

训练时间看轮次与资源

训练本身通常只占几天到两周,取决于数据规模、模型大小与可用算力。真正的风险在排队与中断:共享算力需要预约,训练中断要从检查点恢复。排期时应把资源预约与重跑时间算进去,而不是只算纯训练时长。

评测要留出盲评时间

自动指标可以快速跑完,人工盲评需要组织业务人员,往往要一周以上。盲评安排在训练结束前就应启动准备,包括样本抽取、评分表设计与评审人时间协调;等训练完再找人,整体进度会被拖后一到两周。

部署与灰度单独排

私有化部署涉及环境准备、服务上线与压力测试,通常需要两到四周。把部署当作训练的附属环节,是最常见的排期错误;部署延后时,前面的训练成果只能停在测试环境,业务方看不到价值,项目容易被质疑。

适用与不适用

适合谁

  • 需要向管理层承诺上线时间的微调项目
  • 涉及标注与算力预约的复杂交付,需要提前预约资源
  • 首次做私有化部署、缺少排期经验的团队

不适合谁

  • 样本已完全就绪、只需一次训练的小规模试验
  • 无法提前预约算力与标注人力的项目

典型场景

某金融科技公司的合同要素抽取项目原计划十周完成。小样本验证用两周确认可行,数据标注与冻结用四周,训练与盲评并行推进用两周,私有化部署与压力测试用两周,最终按期上线。项目组把数据冻结设为硬节点,训练期间未再改动样本,评测结论也可复现。

可执行步骤

  1. 用小样本跑一轮训练,确认效果是否随数据增加而改善,再决定是否全量标注
  2. 标注完成后冻结数据版本,训练与评测基于同一版本,冻结后不再打补丁
  3. 提前预约算力并设置检查点,避免中断后从头重跑,并把重跑时间算进排期
  4. 训练结束前启动盲评准备,协调评审人与评分表,避免训练完再临时找人
  5. 把私有化部署与压力测试单列,留出两到四周,避免成果停在测试环境,可用
解决方案与项目开发类目结构示意图
类目示意图:解决方案与项目开发通用流程示意 · 上岸智源

常见坑

  • 跳过小样本验证直接全量标注,训完才发现任务不适合微调,标注成本全部沉没;几周投入白费;代价不小。
  • 训练期间仍在改数据,结果无法复现,评测结论失去意义,返工时只能重来一遍;结论也站不住脚;返工更贵。
  • 只算纯训练时长,忽略算力排队与中断重跑,实际交付时间比计划晚两到三周;交付被迫整体顺延。
  • 把部署当作训练的附属环节,上线延后,业务方看不到成果,项目被质疑价值;后续预算也更难批;很难补救。
两人在桌前对着电脑讨论方案
商务会谈:方案讨论自有素材

自检与验收清单

  • 是否先做过小样本可行性验证,是否留有结论,是否有结论
  • 数据是否已冻结并记录版本,版本是否可追溯,是否可查
  • 算力是否预约并设置检查点,是否演练过恢复,是否检查过
  • 盲评是否在训练结束前启动准备,是否已排进计划
  • 部署与压力测试是否单列排期,是否含恢复演练

常见问题

微调一般要多久?

数据准备通常占一半以上时间,标注与校准按月计算;训练本身几天到两周,评测与盲评再留一到两周,私有化部署两到四周。整体常见在两到四个月,取决于样本规模与算力条件,压缩空间主要在数据环节。

能不能边标注边训练?

不建议。边标边训会让每轮实验的数据版本都不同,效果无法比较,也无法判断提升来自数据还是参数。更稳妥的做法是按批次标注、分批实验,每批完成后冻结版本再训练,结论才站得住。

算力不够怎么办?

可以先用云上按需资源完成训练与验证,再决定是否采购本地设备。若必须私有化,应提前估算推理并发与响应时间要求,并留出扩容余量;临时采购的周期通常按月计算,很难配合上线窗口。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 全国一体化大数据中心协同创新体系算力枢纽实施方案 国家发展改革委等四部门 · 2021
  3. “东数西算”全面启动 八枢纽激发数据新活力(专访) 国家发展和改革委员会 · 2022