隐性成本一:算力闲置

为峰值采购的算力在低谷期闲置,折旧照算,机房与电力也照付。按平均利用率估算真实单位成本,比按峰值报价更接近财务口径;利用率长期偏低时,租用或混合形态往往更划算,也更容易随业务调整。怎么摊薄,把固定投入按三年用量摊到单次调用。

课堂现场:成排学员面向讲台
成排就座:课堂听讲自有素材

隐性成本二:推理优化

自建要有人做量化、批处理、缓存与显存调优,否则并发一高就排队,业务方以为模型不行。这类人力市场上不便宜,且需要持续投入;把它算进预算,才不会在执行阶段挤压其它项目,也能把人留住。为什么留不住人,因为这类工作没有明确产出。

隐性成本三:安全补丁

推理框架、容器镜像与依赖库都会出漏洞,需要跟进、测试与灰度。没有固定节奏,系统会在某次安全通报后被迫紧急停机;这类成本不产生功能,却决定能否持续运行,也决定审计时能不能过关。怎么建节奏,固定月度窗口跟补丁与灰度。

隐性成本四:调用与限流

接口方案的成本随用量线性上升,限流与配额又会在业务高峰时成为瓶颈。要按峰值与均值分别估算,并设计降级与排队;只按均值做预算,旺季一定超支,临时扩容也未必来得及,还会挤占其它预算。怎么估算,峰值与均值各算一遍,再留两成余量。

隐性成本五:变更与切换

涨价、条款调整、模型下线都会发生;切换要重跑评测、改提示词、迁移知识库。把切换成本按一次完整回归估算,并在架构上保留适配层,才能把风险控制在可承受范围,谈判时也有替代方案可用。怎么留退路,保留适配层与自有评测集。

适用与不适用

适合谁

  • 正在做三年成本测算的信息化部门
  • 已发现账单或运维工时异常增长的项目组
  • 需要在方案评审中说明长期投入的负责人

不适合谁

  • 只看首年报价、不算运维的采购流程
  • 没有监控与用量统计能力、算不清成本的团队

典型场景

某物流企业的自建推理集群利用率长期不足三成,但为应对旺季又不敢缩容。财务复核后发现,单位调用成本高于接口方案。团队改为旺季租用、平峰保留小集群,并把推理优化与补丁跟进纳入固定工时,成本曲线才变得可解释,预算也终于能逐年编制。

可执行步骤

  1. 统计算力利用率与单位调用成本,做成月度曲线并标注峰谷,供财务复核
  2. 把推理优化与补丁跟进列为固定工时与岗位职责,写进岗位说明与考核
  3. 按峰值与均值分别估算接口成本,并设降级、排队方案与预算上限表
  4. 估算一次完整切换所需的回归与迁移工作量,折算成人日与排期与排期表
  5. 设定利用率与成本两条止损线,写进运维手册并指定决策人与联系方式
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 按峰值采购算力,全年大部分时间闲置,折旧与机房费用照付,单位成本远高于预期,财务也无法解释。
  • 没有推理优化的人,并发一高就排队,业务方以为模型不行,其实是配置问题,换模型也解决不了。
  • 接口方案只按均值估算,旺季限流触发,用户排队等待,投诉集中在最忙的两周,处理起来很被动。
  • 忽略切换成本,供应商涨价时才发现重跑评测与迁移知识库要数月,只能接受新价,议价空间全无。
女讲师在台前讲解流程图
讲师讲解:流程图与要点自有素材

自检与验收清单

  • 算力利用率与单位成本是否统计过,有无月度曲线
  • 推理优化与补丁跟进是否有人负责,工时多少
  • 接口成本是否按峰值与均值分别估算并留档备查
  • 切换回归工作量是否估算过,折算成人日数表
  • 止损线是否写进运维手册,并指定决策人姓名

常见问题

自建的成本优势在什么条件下出现?

用量大且利用率高时。若利用率长期低于三成,固定投入摊不薄,反而不如按量付费;这也是很多企业从自建退回混合的原因,账算清楚比坚持路线更重要,也更容易向管理层解释。

补丁跟进要多少人力?

视依赖数量而定,通常需要固定的月度窗口与一名负责人。工作量不大但必须持续;把它写成岗位职责,比临时抓人更可靠,也避免安全通报来了才发现没人跟,临时外包又来不及。

涨价了怎么办?

先看合同里的通知期与调整方式,再评估切换成本。技术上保留适配层与评测集,谈判时才有替代方案;没有替代方案,涨价只能接受,所以这件事要在签约前就想清楚,别等账单来了再谈。

参考来源

  1. 《算力基础设施高质量发展行动计划》配套解读 工业和信息化部 · 2023
  2. IDC:IDC首次定义AI云市场,2025年中国市场规模达684亿元 IDC(国际数据公司) · 2026
  3. 住房城乡建设部关于发布国家标准《建筑信息模型应用统一标准》的公告(GB/T 51212-2016) 住房和城乡建设部 · 2016