边界一:数据敏感且量大

数据不能出内网、调用量又大时,自建的边际成本优势才显现;量小的时候,自建的固定投入摊不薄。判断方法:估算月度调用量与算力利用率,利用率长期偏低就不适合自建,租用或混合更现实。怎么判断边界,看利用率能不能撑起固定投入。

女讲师在台前讲解流程图
讲师讲解:流程图与要点自有素材

边界二:需要持续微调

有稳定样本、要按产品线或术语体系持续微调时,开源的可控性更有价值;闭源接口通常只提供有限微调能力。边界是样本与评测要跟得上,否则微调只是把噪声固化,越训越偏,回滚也难。为什么微调要配评测,否则只是把噪声固化下来。

边界三:离线与边缘场景

工厂车间、野外作业、内网机房无法稳定联网,只能在本地推理。这类场景开源几乎是唯一选择,但要接受模型规模受限、更新靠人工搬运的现实,运维预案要提前写,包括断网与回滚。怎么准备离线运维,先写断网与回滚预案。

不适用:把自建当省钱

用量小、团队无运维能力时,自建的固定成本远高于调用。此时应选托管或专有实例,把人力放在业务上;省钱的说法只在用量足够大、利用率足够高时成立,否则只是把账单换了个位置。怎么算这笔账,把闲置与折旧算进单位成本。

混合形态成立的条件

混合要成立,需要统一的路由规则、一致的提示词与一套评测集;否则两套系统各说各话,维护成本翻倍。若做不到这三点,宁可先选一条路线做深,而不是同时铺开,最后两边都不熟。怎么管混合,统一路由、提示词与评测三件事。

适用与不适用

适合谁

  • 数据强敏感、需要本地推理的制造与医疗企业
  • 有稳定样本、计划长期微调的团队
  • 需要为不同数据级别设计分流方案的项目

不适合谁

  • 用量很小却坚持自建、不愿算总账的单位
  • 没有统一评测、却想同时维护两套模型的团队

典型场景

某矿业集团要把设备手册与安全规程做成现场问答。井下无稳定网络,只能在本地推理,开源成为必然选择;集团把模型规模压到能在工控机上运行,回答只做检索与要点提示,关键操作仍由值班工程师确认,更新包按月由信息中心带入。

可执行步骤

  1. 估算月度调用量、峰值与算力利用率,判断自建是否划算与闲置成本
  2. 核对是否需要持续微调、离线运行与边缘部署,列出硬约束与责任人
  3. 若选混合,先定路由规则、降级顺序与统一评测集,并写明判定标准
  4. 把更新方式、搬运周期与现场运维责任写进方案与合同附件并指定负责人
  5. 明确关键操作的人工确认环节、复核人与签认记录的具体要求与留痕方式
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 用量小仍坚持自建,算力长期闲置,折算下来比调用更贵,还占用了运维人力,最后只能降级使用。
  • 混合形态没有统一评测,两套系统对同一问题给出不同口径,用户不知道该信哪个,投诉处理也更慢。
  • 离线场景忽略更新方式,模型与知识半年未更新,现场问答逐渐失效,一线又回到翻纸质手册。
  • 把关键操作也交给模型,未设人工确认,出问题后责任无法界定,系统被停用,投入全部沉没。
天平与待比较的文件资料
选型场景:权衡与对比自有素材

自检与验收清单

  • 调用量、峰值与算力利用率是否估算过与成本
  • 是否确需持续微调、离线运行或边缘部署需求
  • 混合形态是否有路由规则、降级顺序与统一评测
  • 更新方式、搬运周期与运维责任是否写明到人
  • 关键操作是否保留人工确认与签认记录环节表

常见问题

自建要多大用量才划算?

没有通用门槛,取决于算力价格、利用率与人力成本。可行做法是把固定投入按三年摊到每月,再与调用成本对比;利用率低于三成时通常不划算,租用或混合更稳,也更容易随业务调整。

闭源能不能离线?

一般不能,接口需要联网。少数厂商提供专有环境,但仍在指定机房。真正需要现场离线时,应按开源方案设计,不要指望接口变通,否则验收时无法通过,返工成本很高。也很被动。

混合会不会很难维护?

会比单一路线难,但可控。关键是统一提示词模板、评测集与路由规则,把差异收敛到模型适配层;做不到这三点,混合会变成两套系统的长期拉扯,谁都不愿接手。也不愿维护。

参考来源

  1. 生成式人工智能服务管理暂行办法(第15号令) 国家互联网信息办公室等七部门 · 2023
  2. 云计算服务安全评估办法 国家互联网信息办公室等四部门 · 2019
  3. 住房城乡建设部关于发布国家标准《建筑信息模型应用统一标准》的公告(GB/T 51212-2016) 住房和城乡建设部 · 2016