固定样本与长度分布
样本要覆盖短问答、长文档与多轮对话，并按真实比例配比。为什么：不同长度下延迟差异很大，单一场景的结论无法代表整体。做法是固定随机种子与样本清单；边界是业务变化后样本要更新，否则验收结论会过期。
预热与冷启动分离
先跑预热请求让模型与连接进入稳态，再开始计时，冷启动单独记录。怎么做：预热轮数写进测试方案；边界是生产环境会有扩缩容，冷启动数据要保留用于容量评估，不能直接丢弃或混入稳态统计。
并发阶梯与拐点
从低并发逐步加量，记录延迟与吞吐的变化，找出拐点位置。为什么重要：拐点之后延迟上升很快，容量规划要留出余量。做法是每档稳定运行一段时间再采样；边界是拐点会随模型版本变化，需定期复测。
故障注入与降级
模拟模型超时、显存不足、下游检索超时与网络抖动，验证降级与提示。怎么做：逐项执行并记录用户可见表现；边界是降级回答要标注来源与不完整性，不能伪装成完整结果，否则验收记录也失去意义。
记录环境参数
并发数、批处理大小、量化方式、上下文长度与硬件型号都要写入报告。为什么：缺参数的延迟数字无法复现，也无法与其他方案比较。边界是报告中不写金额，成本只作相对比较，避免把估算误差直接当成结论。
适用与不适用
适合谁
- 要在采购前对比多家方案的企业评测组
- 需要把延迟指标写进合同或验收条款的项目
- 承担上线前性能验收的测试与运维团队
不适合谁
- 只做功能演示、不准备留测试记录的小规模试点
- 没有可控测试环境、只能在生产上试的项目
典型场景
某集团在采购前要求两家方案做同条件对比。评测组准备了统一的样本清单与长度配比，在同一机房、同一并发阶梯下测试，记录批处理与量化参数。两家的平均延迟接近，但高位分位差距明显，最终按业务可接受的目标选择了尾部更稳的方案。
可执行步骤
- 确定样本清单、长度配比与随机种子，形成可复用的固定测试集文件与说明
- 规定预热轮数与冷启动的记录方式，并把这两项写进测试方案文档里
- 按并发阶梯逐档测试并标出拐点，记录每档的样本数与分位耗时数据
- 注入超时与资源不足等故障验证降级，记录用户可见表现与恢复耗时步骤
- 在报告中写全环境参数与分位数据，便于第三方复核与复现结论过程
常见坑
- 两家用不同样本做对比，结论根本不可比，评审时反复争议却始终没有定论，项目被迫延期一段时间。
- 不做预热就直接测，首轮数据把平均值明显拉高，结论失真且无法复现，评审难以通过验收，项目停摆数周。
- 只测单并发，忽略上量之后的排队与拐点，容量规划缺少依据，上线就可能超时，只能紧急扩容或降级。
- 报告缺少环境参数，复测时结果对不上，验收无法闭环，责任也很难划分清楚，只能重测一遍，工期被拖长。
自检与验收清单
- 样本清单与长度配比是否固定，是否作为附件完整留档
- 预热轮数与记录方式是否写入测试方案，是否按方案执行
- 是否测出并发阶梯上的吞吐与延迟拐点，是否记录
- 降级路径的用户可见表现与恢复耗时是否都有记录
- 报告中的环境参数是否完整，测试结论是否可复现
常见问题
样本要准备多少条？
没有统一数字，关键是覆盖主要业务类型与长度分布，并让每档有足够样本使分位稳定。样本太少时高位分位跳动很大，结论不可信；样本过多则测试时间长，可以按业务分层抽样。
验收不通过怎么办？
先区分是方案不达标还是测试条件不一致。核对样本、并发、环境与参数，再复测一次；确实是方案问题就按条款要求整改或更换。验收条款里要提前写明复测次数与判定方式，避免事后争论。
要不要把第三方压测报告当依据？
可以参考，但不能替代自身业务的验收。第三方报告的场景与你的请求分布往往不同，硬件与网络也未必一致。建议用同一套样本自行复测，并把差异写进报告，作为选择的依据。