硬件与折旧

算力是一次性支出但按年摊,卡型与卡数决定能力上限。为峰值并发多配的卡在低谷闲置,这部分冗余常被漏算;可行做法是把离线批处理与在线推理放进同一资源池错峰使用。边界在于训练与推理对卡型、互联的要求不同,混用前要先验证。

夜间停车场中的汽车
汽车场景:制造与售后数据自有素材

机房与电力

自建要算机柜、制冷、UPS 与带宽,电力按 PUE 折算后常常接近硬件年折旧。怎么算才准:把电费单与制冷效率放在一起看,而不是只报机柜租金;压缩空间在提高单机密度和把非实时任务挪到低谷。租机柜与自建的退出成本差别很大,合同期要写清。

授权与升级

模型商用授权、推理引擎与向量库订阅按年计费,每次升级还要配套回归测试。为什么常被低估:授权容易被当成一次性采购,测试人力从不进预算。做法是把版本节奏与测试窗口写进年度计划;买断也不等于永久可用,硬件换代后旧版本可能不再适配。

合规与测评

等保测评、密码应用评估、数据安全评估与年度审计是持续支出,材料准备还要占用业务和法务的时间。怎么安排:把测评周期前置到项目排期,通常要提前一季启动。这块不该压缩,省下的测评费用往往以整改返工和检查风险的形式回来。

优化顺序

先按数据密级分层,只有确实不能出域的数据留在本地,其余走受控通道;再考虑共享算力池、错峰批处理、小模型加检索替代大模型。理由是先分层带来的降幅最大,且不动安全底线。边界是审计、删除与日志能力不能作为优化项被砍掉。

适用与不适用

适合谁

  • 要在本地处理敏感数据、需要向管理层报预算的企业
  • 已有或计划建机房、需要核算三年总成本的架构团队
  • 在自建、租用与专属区域之间反复取舍的决策者

不适合谁

  • 数据可完全公开、按用量付费即可满足的业务场景
  • 只想要一次性报价、不做三年测算与假设说明的项目

典型场景

某集团信息中心为新上的文档问答做预算,业务要求全部数据留在本地机房。架构组把三年费用拆成硬件折旧、机柜电力、模型授权、测评与运维值班五栏,发现为峰值预留的算力夜间长期闲置。方案改为在线推理与夜间批处理共用资源池、非敏感摘要走受控通道,报批后由信息中心负责人与合规部门共同签认。

可执行步骤

  1. 按数据类型列出必须本地处理与可受控外发两栏,交合规确认后留档备查
  2. 把三年费用拆成硬件、电力、授权、测评与人力五栏逐项估算并汇总成表
  3. 统计日间峰值与夜间低谷的算力占用情况,标出长期闲置的时段与卡数
  4. 区分可压缩项与不可动项,形成优化清单并逐条标注风险、责任人与依据
  5. 用同一口径对比自建、租用与专属区域三种方案的三年总支出与退出成本
算力、私有化与成本类目结构示意图
类目示意图:算力、私有化与成本通用流程示意 · 上岸智源

常见坑

  • 只报硬件采购价,把电力、测评与升级测试当成运维杂费,预算批下来才发现年度支出远超预期,第二年就被迫砍项目。
  • 按峰值并发配卡,夜间与周末大量闲置,等于为用不到的能力持续付费,下一次扩容时又把同样的错误重复一遍。
  • 为省成本砍掉审计日志与删除流程,检查时拿不出证据,整改要重做整条管道,前期节省远小于返工代价。
电路板元件的微距特写
电路微距:算力与硬件自有素材

自检与验收清单

  • 成本口径是否统一到三年总成本,并注明关键假设
  • 峰值与低谷时段的算力占用是否分别统计并留档
  • 测评、审计与整改的费用是否已进入年度预算
  • 可压缩项是否标注风险、责任人与复核方式并评审
  • 三种方案的比较是否使用同一口径与同一观察周期

常见问题

不建机房能不能做到数据不出域?

可以。专属区域、专属实例或客户指定环境都能把处理位置限定在约定范围,但数据仍在服务商机房,是否满足要求要由合规部门按域的定义判断,合同里要写清隔离边界、运维通道与审计权限。

本地成本能比公有云低吗?

不一定。稳定高负载时自建的单价可能更低,波动大的业务反而更贵。判断要看三年总成本与实际利用率,不能只比单次调用价格,也不要把闲置容量当作能力储备,更不能用峰值成本代表全年。

哪些投入不能省?

审计留痕、权限控制、删除能力与测评整改不能省。它们决定边界能否被证明,一旦缺失,前面省下的费用会在检查与返工时成倍付出,也会让整个方案失去可信度,后期补救成本远高于一次做对。

参考来源

  1. 中华人民共和国数据安全法 全国人民代表大会常务委员会 · 2021
  2. GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求 国家市场监督管理总局、国家标准化管理委员会 · 2019
  3. 云计算服务安全评估办法 国家互联网信息办公室等四部门 · 2019