样本覆盖一个业务周期
只取旺月或只取平稳月，结论都会偏。建议覆盖近三到六个月，含异常月份与典型长尾，抽样规则写清楚，便于复现与后续扩展，也能避免季节性因素被误读，复诊时也说不清到底该补哪一段数据，结论也站不住脚。
标注组织比工具难
谁标、按什么标准标、分歧谁裁决、一致率怎么算，这四件事要在开始前定好。标注标准写到可判定的程度，否则同一句话两个人给出相反答案，评测结果失去意义，评测结论也无法向业务方解释，下次也没法复用。
环境只需三段链路
样本读取、模型调用、结果落库。模型服务不通时先用可离线运行的替代模型验证流程，再换目标模型重跑，避免被网络审批卡住整条进度，也便于横向对比，团队也不必为环境问题反复开会，整体进度也更稳。
脱敏可能破坏语义
地址、编号、姓名被打码后，模型可能无法判断关键信息。脱敏方案要先在小样本上试，确认不影响任务可解性再批量处理，否则效果差会被误判成模型能力不足，客户会误以为模型不适合这个场景。
权限与留痕要同步
测试账号、数据访问审批、操作日志，这些在原型阶段就该建立。等到上线再补，往往发现历史操作无法追溯，也无法证明数据只被用于验证，评审时很难自证，安全评审时也只能靠口头保证过关，风险也更可控。
适用与不适用
适合谁
- 样本分散在多个系统、需要先归集的团队
- 数据敏感、需在受限环境验证的企业
- 业务方愿意投入标注人力、接受多轮迭代的项目
不适合谁
- 数据尚未电子化、也无采集计划的项目
- 要求原型直接读写生产库、不做脱敏的团队
典型场景
某政务单位的窗口问答原型，样本来自近半年的咨询记录。团队先做两百条小样本试脱敏，发现把证件类型打码后问题无法判断，改为保留类型、隐去号码。调整后标注一致率明显上升，原型按期完成，团队随后补了脱敏规范。
可执行步骤
- 按时间随机抽样，覆盖异常月份与典型长尾问题，并留存清单，标注来源，且可复现
- 写标注规范，明确判定标准、分歧裁决人与一致率算法，并做小样本试标，并留底
- 先用小样本验证脱敏是否影响任务可解性，再决定处理方案，并留验证记录
- 打通样本读取、模型调用与结果记录三段链路，并记录配置，便于后续复现
- 登记测试账号、访问审批与操作留痕方式，并指定责任人，并张贴到流程里
常见坑
- 只用近期顺利月份的数据，结论偏乐观，遇到旺季或异常月份就失效，也不可复用，结论也无法复用。
- 标注规范停在口头，两个标注人标准不一，评测结果无法复现，出现争议也无法裁决，返工成本很高。
- 脱敏过度，模型看不到判断所需信息，效果被误判成能力不足，方案会被错误否掉，项目方向也会被误判。
- 没有操作日志，出问题无法回溯是谁在什么时候跑了什么，也无法证明数据只用于验证，审计时说不清。
自检与验收清单
- 抽样是否覆盖业务周期与异常月份，且含难例，且可复核
- 标注规范是否可判定，分歧是否有裁决人，有记录
- 脱敏是否做过小样本验证与语义检查，并留档，并有记录
- 模型服务访问与测试账号是否已开通，有责任人
- 操作日志与数据用途是否留痕可查，可审计，且可查验
常见问题
没有标注能不能先验证？
可以做探索性验证，但结论只能用于排除方向，不能作为立项依据。建议至少由业务方标注一批核心样本，哪怕数量不多，也能提前发现判断标准的分歧并统一口径，后续复诊也更省事。
样本必须脱敏吗？
含个人信息或商业秘密时必须处理。方式可以是脱敏、去标识化，或限定在客户环境内使用，具体由客户方合规人员确认并留下书面记录，避免事后被追问数据来源与用途。
模型服务不能出网怎么办？
选择本地或内网部署的模型，先用较小参数版本跑通流程，再按验证结果决定是否申请更大算力，避免一开始就在硬件上投入过多预算与采购周期，也能控制运维成本，运维支出也更省。