信号一:排队与尾延迟

供给紧张时最先恶化的是排队与尾延迟,而不是平均延迟。测量方法是按小时记录排队时长与 P95 延迟,连续观察四周。若平均值正常但尾部持续拉长,说明峰值容量不足。这个信号比价格更早出现,适合作为扩容触发器,这也是为什么要看尾延迟。

从太空俯瞰城市灯光的夜景
全球夜景:网络与连接自有素材

信号二:单位成本曲线

规模扩大后,单位任务成本应随批量与缓存命中下降;若反而上升,可能是调度效率下降或被迫使用高价补充资源。怎么做?按月把账单除以有效任务数,画出趋势并与调用量对照。曲线拐点往往对应架构该调整的时点。

信号三:扩容写进合同

供应商口头承诺扩容容易,愿意写进合同并约定响应时限与补偿的很少。核验方法是要求提供近半年的扩容工单记录,并在合同中约定申请到交付的时限。若对方拒绝,说明其自身也受配额约束,企业应准备替代方案,其边界在对方是否愿意写入合同。

误判与交叉验证

三个信号都可能失真:排队可能来自调度配置而非供给;成本上升可能来自业务结构变化;合同承诺可能只覆盖部分区域。因此要交叉验证,并把结论限定在具体场景与时间窗内。任何单一信号都不足以支撑大规模采购,这正是为什么要限定时间窗。

适用与不适用

适合谁

  • 需要决定是否扩容的技术与平台负责人
  • 评估算力供应商承诺的采购与法务团队
  • 算力成本持续上升、需要解释原因的企业

不适合谁

  • 没有监控数据、无法做测量的团队
  • 只看单次报价、不做连续观察的临时采购

典型场景

一家在线教育企业在促销前评估是否扩容。运维调出四周的分时排队与 P95 延迟,发现晚八点尾部延迟持续走高;财务按任务数折算的单位成本在高峰期明显上升。团队据此提前签了峰值补充协议,并把扩容响应时限写进合同,促销期间未出现大面积超时。

可执行步骤

  1. 按小时采集排队时长与 P95 延迟数据,连续观察至少四周再判断
  2. 按月把账单折算成单位任务成本,再与调用量对照,寻找成本的拐点
  3. 向供应商索取近半年的扩容工单记录,并逐项核对其中配额与响应时限
  4. 把扩容响应时限与未达标的补偿方式写入合同附件,同时留档以便备查
  5. 为关键业务准备可切换的替代供给,并同步设计可执行的降级与限流方案
数据、趋势与行业观察类目结构示意图
类目示意图:数据、趋势与行业观察通用流程示意 · 上岸智源

常见坑

  • 只看平均延迟,忽略尾延迟的持续恶化,等到用户投诉才被动扩容,业务损失往往已经造成。
  • 用总账单判断成本,不除以有效任务数,业务结构变化被误读为算力涨价,容易做出相反决策。
  • 接受口头扩容承诺,高峰期扩容申请被排到后面,对外交付承诺落空,客户也随之逐渐流失。
笔记本电脑上的数据分析看板界面
数据看板:指标分析与复核自有素材

自检与验收清单

  • 是否有按小时统计的排队时长与尾延迟数据表
  • 单位成本是否已按任务折算,并按月观察趋势
  • 扩容时限是否写入合同,并约定未达标的补偿
  • 是否准备了可切换的替代供给与可执行的降级方案

常见问题

没有监控系统怎么做这些测量?

先用日志与账单做最小化统计:记录每次请求的开始与结束时间、失败原因,按小时汇总;账单按任务类型拆分。两周的数据就足以看出趋势,不必等建成完整监控平台。

P95 延迟多少算异常?

没有通用阈值,应结合业务容忍度与历史基线。可比的做法是看趋势与离散度:若 P95 连续多周上升而平均延迟稳定,通常意味着峰值容量不足,应检查调度与配额。

供应商说扩容需要排期,正常吗?

在供给紧张时常见,但排期应给出明确时限与优先级规则。企业要做的是把时限写进合同、准备替代方案,并据此调整对外承诺,而不是接受无限期的排队等待。

参考来源

  1. IDC:IDC首次定义AI云市场,2025年中国市场规模达684亿元 IDC(国际数据公司) · 2026
  2. “东数西算”全面启动 八枢纽激发数据新活力(专访) 国家发展和改革委员会 · 2022
  3. 《算力基础设施高质量发展行动计划》配套解读 工业和信息化部 · 2023