数据与标注规范要一起交

只交模型不交数据规范,后续无法扩充样本,也无法判断新数据是否符合原有口径。规范里应写明样本来源、字段定义、正负例边界与常见争议的处理方式,这些内容决定下一轮训练能否顺利开展,也决定效果能否稳定复现。

两人在桌前对着电脑讨论方案
商务会谈:方案讨论自有素材

训练配置决定可复现性

基座模型版本、超参数、数据配比与随机种子都应记录并可复现。缺少配置时,同样的数据也未必训出同样的效果,团队只能在黑箱上做试验;有了配置,问题定位与迭代速度都能提升,交接也更顺畅。

评测报告要有基线对比

报告应展示基线模型与微调模型在同一批样本上的表现,按错误类型分组对比,并附人工盲评结论。只有绝对分数没有对比的报告无法说明微调是否真的带来收益,也无法判断收益是否值得持续投入。

推理服务与容量说明

私有化交付要包含推理服务的部署脚本、显存占用、并发能力与超时设置。容量说明缺失时,业务方容易按理想情况规划并发,上线后响应变慢,再回头扩容又要重新采购,周期往往按月计算;预算容易失控。

许可与合规文件不能少

基座模型的许可范围、商用限制与来源说明应随交付一并提供,涉及个人信息的数据还要说明处理方式。许可不清时,即便技术验收通过,也可能在法务或客户侧被卡住,前期投入无法转化为可交付的产品。

适用与不适用

适合谁

  • 正在制定微调项目验收条款的企业
  • 需要向法务说明模型来源与许可的项目
  • 准备把模型部署到自有环境的团队

不适合谁

  • 只用公开接口、不做本地部署的场景
  • 无法提供标注数据与评测样本的项目

典型场景

某制造企业的设备故障问答模型验收时,验收组要求交付方用同一批样本复现训练,并对比基线与微调版本的错误类型。复现过程中发现训练配置缺少数据配比说明,交付方补齐后才通过。推理服务的容量说明也在验收后被要求补充,避免上线后并发不足。

可执行步骤

  1. 按六类交付物列清单,标出复现训练所需的最小文件集,标出最小可复现集
  2. 核对数据规范是否写明来源、字段与争议处理方式,避免口径漂移,便于复核
  3. 要求交付方用同一批样本复现训练,并记录配置与结果,作为验收依据,避免乐观
  4. 组织盲评,按错误类型对比基线与微调版本,确认收益是否真实,而非只看分数
  5. 核对许可范围、商用限制与个人信息处理说明,避免法务环节被卡,并书面留档
解决方案与项目开发类目结构示意图
类目示意图:解决方案与项目开发通用流程示意 · 上岸智源

常见坑

  • 只交付模型权重,不留训练配置,后续想复现或微调都要从头摸索,迭代速度明显下降,成本随之上升。
  • 评测只报绝对分数,没有基线对比,无法判断收益来自微调还是样本本身,预算难以持续,立项也缺乏依据。
  • 容量说明缺失,业务方按理想并发规划,上线后响应变慢,扩容又要重新走采购流程;扩容周期按月计算。
  • 许可范围没核对,技术验收通过却在法务环节被卡住,交付周期被迫延长数月,客户信任受损,整改也很被动。
桌面上的笔记本电脑与方案界面
方案桌面:规划与汇报自有素材

自检与验收清单

  • 六类交付物是否齐备并可复现训练,能否独立复现
  • 数据规范是否写明来源与判定口径,边界是否清晰
  • 评测是否含基线对比与人工盲评,是否有盲评结论
  • 推理服务是否附容量与并发说明,是否覆盖并发场景
  • 许可与合规文件是否随交付提供,是否可对外说明

常见问题

模型权重归谁所有?

取决于基座许可与合同约定。多数开源基座的衍生权重可商用,但需遵守相应条款;委托训练的场景应在合同中写明权重、训练数据与配置的归属,避免后续更换供应商时无法继续迭代,也避免二次授权纠纷。

验收一定要复现训练吗?

建议至少复现一次小规模训练。复现能暴露配置缺失与数据规范不清的问题,也能验证交付方提供的流程是否真实可操作;如果条件不允许,至少要核对配置文件与数据清单的完整性。

效果不达标怎么处理?

按合同进入调优轮次,明确轮次上限与判定标准;若多轮后仍未达标,应回到需求判定阶段,确认问题是否本就不适合用微调解决。硬撑下去只会增加投入,换成检索方案往往更快见效。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 全国标准信息公共服务平台(官网) 国家市场监督管理总局 · n.d.