硬件与折旧
整机价格只是起点，折旧年限与残值假设直接影响年度成本。按三年还是五年摊销，结果差别明显，比较方案时应写明假设，否则两套数字无法放在一起看，评审时也容易各说各话，最后只能比报价。比较口径不统一时，讨论很容易失焦。
机房与电力
机柜租金、电费、制冷与带宽是长期支出，高功耗机型尤为明显。电力按实际功耗与电价估算，不要用整机标称功率简单相乘，负载率不同差异很大，制冷能耗还要单独计入，否则预算会系统性偏低。否则预算会在实施阶段被反复追加。
软件与调度
推理框架多可开源获取，但调度平台、监控、模型管理与技术支持可能产生许可或服务费用。自建看似免费，实际投入在集成与维护人力上，这部分通常不会出现在采购清单里，却会在第二年显现。这部分成本在立项时最容易被漏掉。
冗余与备件
为可用性准备的备用卡、备机与维保合同都要计入。完全没有冗余的方案在单卡故障时可能整服务中断，这部分成本不能省成隐性风险，否则一次故障就会抵消多年节省，还会影响业务方信任。恢复期间的业务损失往往无法量化。
提高利用率
通过批处理合并请求、长短请求分池、非实时任务错峰、闲置实例回收来提高利用率。利用率每提升一档，单位任务成本就下降，这比压采购价更可持续，也不影响后续扩容的灵活性，执行起来也更可控。
适用与不适用
适合谁
- 要做三年总成本对比的采购与财务团队
- 自建推理服务、成本高于预期的企业
- 在自购与租用之间做量化比较的负责人
不适合谁
- 只关心单台设备报价、不做全周期测算的团队，测算结论也难以被采纳。
- 用量极小、无需自建算力的项目，结论难以被采纳。
典型场景
某视频企业在自建推理集群一年后发现成本高于预期。复盘显示机房电费与制冷被低估，且为峰值准备的卡在夜间大量闲置。团队改为长短请求分池，把离线转码类任务挪到夜间，同时把部分峰值需求转到按量实例，年度支出结构明显改善，测算模型也做了更新。
可执行步骤
- 列出硬件、机房、软件、人力与冗余五类成本，逐项确认数据来源与口径，并注明每项数据的来源部门
- 统一折旧年限、电价与负载率假设，形成可比的测算口径并书面留档，避免口径随汇报对象变化
- 统计集群实际利用率与峰谷分布，找出闲置最严重的时段与原因，区分正常闲置与配置不当
- 对占比最高的成本项设计单点优化，测算收益与实施所需的人力与周期
- 每季度复核成本口径与假设变化，更新测算模型并同步给财务，同步给财务与业务负责人
常见坑
- 只比设备报价，忽略电力、制冷与机房改造成本，预算在实施阶段被反复追加，项目节奏被打乱。最终由业务承担超支与延期的后果。
- 折旧年限与残值假设不一致，方案之间无法比较，评审结论容易被单一数字带偏，后续也难以复盘。
- 为峰值买满容量，全年低负载运行，单位成本居高不下，设备还会在折旧期内快速落后于新模型，采购前很难察觉。
- 省掉冗余与维保，单卡故障演变为服务中断，恢复期间的业务损失远超节省的费用，责任也难界定。责任界定与损失分摊都会变得困难。
自检与验收清单
- 五类成本是否全部纳入测算范围，并注明数据来源
- 折旧与电价假设是否书面统一并留档，口径是否经过财务确认
- 集群利用率是否有实测数据支撑，并有月度记录
- 峰值需求是否有按量补充方案，是否经过财务确认
- 冗余与维保是否计入可用性成本，是否包含响应时限
常见问题
自建一定比云上便宜吗？
不一定。只有在利用率足够高、使用周期足够长时，自建的边际成本优势才明显。低负载或短周期项目中，云上按量往往更省，还能避免设备淘汰与技术过时的风险，也省去日常运维投入。
电费一般怎么估算？
按整机实际功耗乘以负载率与运行小时数，再乘当地电价，并加上制冷能耗。不同负载率下功耗差异较大，建议用实测功率而非铭牌值，估算结果会明显偏低，预算容易被击穿。
旧卡还能继续用吗？
可用于低负载或非关键推理，但要评估框架支持、驱动维护与备件供应。新模型对精度与显存的要求提高后，旧卡的适用性会快速下降，需要提前规划替换节奏与预算安排，避免临时采购。