指标绑定分布
同一模型在不同数据集上的误差可以差很多，尤其在外推区间。怎么看：先确认评测数据的来源、规模与覆盖范围，再判断结论是否适用于自己的体系；分布外推的场景要格外谨慎，必要时应重做小样本验证。
分清筛选与实测
「发现若干候选材料」多数是计算筛选结果，不等于实验合成成功。为什么容易误读：报道常省略验证环节。怎么做：追问候选物是否经过合成与表征，验证比例多少，失败原因是否披露，追问不到就按筛选看待。
基线是否公平
与随机搜索、传统经验公式或商业软件对比，结论含义不同。怎么做：要求给出基线方法与参数设置；若只与传统方法比较而未调优，提升幅度可能被高估，评审时应要求补充调优后的对照，否则结论不可采信。
复现与成本
复现需要数据、代码与算力，三者缺一结论都难采信。为什么重要：企业要判断能否长期运行。怎么做：评估训练与推理的算力开销、数据准备工时与人员要求，再与实验试错的成本对照，算清三年期投入。
自测从小处起
用历史实验做回溯验证：给定当时的输入条件，看模型能否复现已知结果。怎么做：抽取一批有完整记录的实验，按时间切分训练与测试，避免信息泄漏；边界：回溯通过不等于新体系可用，仍需小批实验确认。
适用与不适用
适合谁
- 评估 AI 研发工具的技术与研发管理者
- 需要读懂外部研究成果的产业研究人员
- 准备立项 AI for Science 课题的团队
不适合谁
- 只需要概念介绍、不做技术评估的读者
- 没有历史实验数据可做回溯的团队
典型场景
某材料企业读到一篇论文，称模型在若干体系上误差很低。团队按五步核对，发现测试集来自与训练同源的公开数据库，且候选物未做实验验证。企业改用自家历史实验做回溯测试，误差明显大于论文数据，据此调整了对该工具的预期与投入规模。
可执行步骤
- 确认评测数据的来源、规模与覆盖范围，同时标注统计区间与采集时间。
- 追问候选结果是计算筛选还是实验验证，并问清验证比例与失败原因。
- 核对基线的参数设置与调优情况，确认对比条件是否公平可比、可复现。
- 评估复现所需的代码、数据与算力开销，并折算三年期的总投入成本。
- 用自家历史实验做回溯测试，按时间切分防止泄漏，逐项记录误差。
常见坑
- 把计算筛选结果当实验结论，投入放大后失败，损失难以挽回，团队信心也受挫，后续推进更难。
- 忽略训练与测试同源，回溯测试成绩虚高，判断随之失真，后续验证的成本反而更高，试错更贵。
- 只对比未调优的传统方法，高估模型带来的实际提升幅度，立项依据不牢，评审容易被质疑。
- 未评估算力与数据准备成本，项目运行半年后难以为继，前期投入变成沉没成本，团队也被拖住。
自检与验收清单
- 评测数据来源、覆盖范围与统计区间是否核过
- 结果属于计算筛选还是实验实测是否分清并标注
- 基线方法、参数与调优情况是否公平、可复算
- 复现所需代码、数据与算力是否具备并评估过
- 是否用自家历史数据做过回溯测试并留下报告
常见问题
论文指标能直接用于立项吗？
不能直接引用。论文的任务设定、数据分布与验证条件往往与工业场景不同，需要用自己的历史数据做回溯测试，并评估算力与数据准备成本后再决定，引用时也应注明条件。
没有代码和数据怎么复现？
先联系作者或查看补充材料；若无法获得，只能把结论当作方向参考。企业立项应以可复现的结果为依据，否则后续优化与排障都缺少基础，团队只能反复试错。
回溯测试要注意什么？
按时间切分训练与测试，避免用未来数据训练；保留失败实验作为负样本；记录当时的工艺条件与检测方法，确保输入与现在可比，否则测试结果没有解释力。