固定比较条件
样本、提示词、参数、温度与最大输出长度都要一致，否则差异说不清来源。怎么固定：把配置写进评测脚本并纳入版本管理，每次运行自动记录模型名、版本号与时间；条件不固定时，比较结果只能当参考。
评分表要可执行
评分项要能落到具体判断：格式是否符合输出结构、事实是否可核、是否拒答、是否越权。怎么定：先让两个人独立标注同一批样本，比较分歧再据此细化标准；标准含糊时，分数差异多半来自评分人。否则标准形同虚设。
按任务分别结论
客服问答、结构化抽取、长文摘要的强弱往往不同，合成一个总分没有意义。怎么呈现：每个任务给一张小表，列出通过率、失败类型与延迟，再写一句适用说明；决策者据此按场景分配模型，而不是只选一个。
结论要可复现
评测结论要能被别人复跑：样本、脚本、配置、模型版本与日期齐全，结果才可信。怎么落地：把评测集与脚本放进内部仓库，每次选型或升级都跑同一套；否则半年后没人说得清当初为什么选它，也便于交接给后来的人。
适用与不适用
适合谁
- 要在多个模型之间做正式比较的团队
- 需要向管理层解释选型依据的负责人
- 准备做多模型路由、需要选型依据的技术团队
不适合谁
- 只想要一个推荐结论、不愿做评测的团队
- 没有样本、也没有标注人力的项目
典型场景
某金融机构要比较四款模型做合同要素抽取。团队固定两百条样本、同一套提示词与输出格式，由两名标注员独立评分并校准分歧；每款模型跑三遍，记录版本与耗时，最后按字段给出通过率表，选定主力与兜底两个模型。
可执行步骤
- 把评测配置写进脚本，固定提示词、参数与输出格式，并纳入版本管理
- 抽两百条样本，由两名标注员独立标注，再开会校准分歧与标准，逐条
- 每款模型跑三遍，记录版本号、通过率与平均耗时，取中位数比较，并留存原始输出
- 按任务分别出结论，写明主力模型、兜底模型与各自的适用条件，形成一张对照表
常见坑
- 各家测试用的提示词不同，比较的其实是提示词水平，不是模型能力，选型结论必然失真。
- 评分标准含糊，两个人对同一条样本判断正好相反，结论无法复现，评审现场也很难收场。
- 只跑一遍就下结论，模型输出的随机性被当成能力差异，选型依据并不成立，后续也无法复盘。
- 把所有任务合成一个总分，掩盖了某一任务上的严重短板，上线后集中暴露，返工措手不及。
自检与验收清单
- 提示词、参数与输出格式是否在所有候选间完全一致
- 评分标准是否经过双人独立标注并开会校准，并留有记录
- 是否记录了模型版本、运行参数与测试日期，可以追溯
- 每个任务是否有独立结论，并写明适用说明与限制
- 评测脚本与样本是否入库，其他人可随时复跑
常见问题
要跑多少条样本？
起步一百到两百条即可，关键是覆盖主要类型与边界情况。样本太少时差异会被随机性淹没，样本太多则标注成本高；建议先小规模跑通流程，再按分歧最大的类型补充样本。
温度设多少合适？
抽取类任务设为零或接近零，保证可复现；创作类可以略高，但评测时必须固定。比较不同模型要用同一设置，否则差异无法归因，也容易被偶然的好输出误导，也要写进评测脚本。
要不要让业务部门参与评分？
要，至少参与标准制定与抽样复核。技术人员更关注格式与稳定性，业务更清楚什么算错；两边一起定标准，能避免评测通过但业务不认账的尴尬，也能提前发现口径差异。避免事后争论。