误区一:只盯单价

单价只是三个变量之一,另外两个是调用次数与单次长度。为什么容易误判:供应商降价往往伴随计费口径调整,比如缓存另计或最低消费。只比单价会在结算时发现总支出并未下降。

电路板元件的微距特写
电路微距:算力与硬件自有素材

误区二:按字数估 token

中文、英文、代码与结构化数据的切分比例不同,字符数折算误差可能很大。做法是用分词工具按实际模型统计,再用账单校准;边界是不同模型切分方式不同,跨模型比较要先统一口径。

误区三:实验混进生产账单

评测、对照测试与调参产生的调用常与生产混在同一账户。后果是生产单位成本被抬高,优化时找不到真正的浪费点。怎么做:给实验单独建密钥与预算,对账时分开看,再决定是否合并。

误区四:没有归属就没有治理

当花费是一笔公共支出时,没有人有动力优化。做法是建立场景与部门标签,把成本分摊到业务线,并把结果放进月度经营会。边界是分摊规则要稳定,频繁变更会让业务方不再认真对待。

误区五:缓存用得越多越好

缓存能省钱,但错误复用会带来返工。典型问题是缓存了带权限的内容,或过期答案被继续返回。怎么做:按权限与时效设置缓存键与过期时间,并监控命中质量;省下的调用费不该以错误率为代价。

适用与不适用

适合谁

  • 正在做成本治理立项、需要统一口径的企业
  • 多团队共用一套模型接口的组织与部门
  • 账单已出现异常增长、需要归因的团队

不适合谁

  • 尚未形成稳定调用量、仍在试点的项目
  • 只负责采购比价、不参与运营的岗位与部门

典型场景

一家软件厂商在季度复盘时发现账单涨了三成,单价却没变。团队把实验环境拆出单独账户,给生产调用加场景标签,再核对输入长度,定位到两个重复调用接口。整改后账单回落,实验也不再干扰生产口径。

可执行步骤

  1. 把实验、评测与生产分账,各自使用独立密钥与预算上限,账目分开核对
  2. 给生产调用打上场景与部门标签,让账单能按维度切开核对,并留查询口径
  3. 用分词工具统计真实 token 数,与供应商账单逐月校准
  4. 为核心接口设定缓存键、过期时间与权限隔离规则,并监控,定期检查
  5. 每月开一次成本复盘会,逐项明确责任人与改进时限并回看,形成纪要
算力、私有化与成本类目结构示意图
类目示意图:算力、私有化与成本通用流程示意 · 上岸智源

常见坑

  • 按字数估算费用并写进预算,实际账单高出不少,追加预算的流程走不完,项目被迫缩量。
  • 实验流量与生产共用账户,单位成本算不准,优化方向被带偏,结论也不可信,返工重来。
  • 缓存键只按问题文本生成,不同权限的用户拿到同一答案,出现越权,事后难以追溯。
  • 分摊规则一个季度改三次,业务方不再核对,报表也没人看,成本治理名存实亡,没人愿意接手。
人形机器人与电脑设备同框
机器人:智能体与自动化自有素材

自检与验收清单

  • 实验、评测与生产是否已经分账管理,密钥是否独立
  • token 统计是否与账单逐月校准过
  • 缓存是否按权限与时效设置键与过期,过期是否可控
  • 分摊规则是否稳定、公示并经财务确认
  • 异常账单是否有明确的责任人跟进,多久复盘一次

常见问题

供应商降价后成本为什么没降

常见原因是计费口径同时变了,例如缓存读写单独计价、最低消费提高或免费额度取消。建议按同一批请求在调价前后各跑一次,用实际账单对照,而不是只看价目表上的数字。

小团队需要做成本治理吗

调用量小时,治理重点是不要把实验混进生产、不要重复调用,其他可以先放。等月度支出开始影响预算,再建指标与分摊;过早引入复杂口径,反而没人维护。

缓存会不会导致答案过期

会,取决于过期策略与内容时效。制度、价格与流程类内容变化快,应设较短过期或按版本失效;常识类可以放长。关键是变更内容时能主动失效缓存,而不是等自然过期。

参考来源

  1. The State of AI: How organizations are rewiring to capture value McKinsey & Company · 2025
  2. The 2025 AI Index Report Stanford Institute for Human-Centered AI (HAI) · 2025
  3. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023