先问任务定义
准确率必须绑定任务：是条文检索、字段抽取还是问答生成，判定标准完全不同。为什么：同一模型在不同任务上的表现差异很大。怎么做：要求提供任务说明与评分细则，确认与自己的使用方式一致，再决定是否采信该指标。
再问样本来源
样本来自公开测试集还是客户真实数据，结论的可用性不同。怎么看：公开集容易过拟合，客户数据更接近实际但覆盖有限。怎么做：要求说明样本构成与采集时间，并用自己的小样本复测，两者差异大时以自测为准。
三问有无泄漏
如果评测样本出现在训练数据里，指标会虚高。怎么查：要求说明去重与切分方式，抽取少量样本做改写测试；改写后表现明显下降，说明模型依赖记忆而非理解，这类模型换到新数据上容易失效，验收前应先查泄漏。
四问备案管什么
生成式 AI 服务备案针对服务提供行为，不等于行业资质或产品认证。为什么容易误解：宣传材料常把备案写成权威背书。怎么做：区分备案主体与服务范围，行业准入仍按各自监管要求办理，判断时以官方公开信息为准。
五问失败怎么处理
看模型在不确定时是否拒答、是否给出处、错误能否被定位。怎么做：准备一组故意超出范围的提问，观察拒答与提示是否合理；边界：最终可用性由业务方在使用场景中判断，不要用宣传材料替代自测。
适用与不适用
适合谁
- 正在比较多家行业模型方案的选型团队
- 需要审核供应商材料的采购与技术岗位
- 为管理层撰写选型建议的研究人员
不适合谁
- 只需要了解行业模型概念、不做选型的读者
- 希望用一次比价直接定标的采购方式
典型场景
某集团评估三家行业模型供应商，A 报出很高的行业准确率，B 只给任务说明与样本构成。团队按五问核对，发现 A 的评测样本与其训练语料高度重合，改写测试后表现明显下降；B 的指标虽低但可复现。最终选择 B 做试点，并把复测方法写进验收条款。
可执行步骤
- 索取任务说明与评分细则，逐条核对与自身用法、输出形态是否一致。
- 问清样本来源、采集时间与各类样本的构成比例，并要求书面说明。
- 抽取一批样本做改写测试，排查训练数据是否泄漏，记录下降幅度。
- 核对备案主体与服务范围，区分服务备案、模型备案与行业准入资质。
- 用越界问题测试拒答与提示是否合理，逐条记录判定结果与处理人。
常见坑
- 只看准确率数字、不看任务定义，选出的模型与实际用法不匹配，上线后返工成本更高，试点也会卡住。
- 忽略训练数据泄漏，验收复测成绩大幅下滑，项目被迫延期，预算随之增加，责任也难划清。
- 把备案当行业资质引用，对外表述出现偏差，引发合作方与监管质疑，需要公开更正并说明依据。
- 不测拒答能力，上线后模型对超范围问题强行作答，业务不敢使用，项目被迫收缩，前期投入难以收回。
自检与验收清单
- 任务定义、评分细则是否与自身用法完全一致
- 样本来源、采集时间与构成比例是否说明清楚
- 是否做过改写测试，并逐条记录成绩下降幅度
- 备案主体、服务范围与资质要求是否核对清楚
- 越界提问的拒答表现是否测试，并逐条记录判定
常见问题
供应商不给评测细节怎么办？
先要求提供任务说明与样本构成，哪怕不给原始数据；若两项都拒绝，建议只作备选。可以用自己的小样本做盲测，把结果作为主要依据，宣传指标仅作参考。
备案信息在哪里核？
以监管部门公开发布的备案信息为准，核对主体名称与服务范围，注意区分模型备案与服务备案。备案不等于产品认证，也不替代行业主管部门的准入要求，更不代表效果承诺。
自建评测集要花很多时间吗？
首版可以很小：每个任务类别准备一组真实问题与标准答案，由业务专家确认。关键是能复跑和版本化，后续按错误类型逐步补充，不必一次追求覆盖全部场景。