测试集先于验收
用历史简历、真实问询与制度条款建一套测试集,覆盖常见问题、边界问题与个案争议三类。为什么必须自己建:供应商的演示样本偏简单,测不出争议场景。建议由 HR 与法务共同标注参考答案,标注分歧当场解决,避免验收时争论标准。

四项可量化指标
简历要点召回看关键信息是否漏抽;提纲可用率看面试官是否直接采用;答复一致率看同一问题多次提问是否给出同一口径;引用准确率看条款与日期是否对得上。怎么算:分母取测试集条数,分子取双人确认正确的条数,分歧单独列出。
合规项一票否决
个人信息是否最小必要、敏感字段是否隔离、权限是否按岗位最小化、访问是否留日志,任一项不达标即不通过。为什么单列:这些问题不会在日常使用中暴露,一旦出事却最难补救,验收时必须现场演示而不是看文档。
申诉与留痕
候选人申诉、员工对答复有异议时,系统要能给出当时的输入、引用条款与处理人。验收时随机挑几条历史会话,要求现场回溯。为什么是硬项:做不到这一点,等于把争议处理的举证责任留给企业自己。
适用与不适用
适合谁
- 正在签 HR AI 合同、需要写验收条款的企业
- 已上线但说不清效果的 HR 共享服务中心
不适合谁
- 只做内部演示、不准备做抽检与申诉机制的项目
典型场景
某集团验收时用自己的测试集:两百条历史问询、一百份简历、三十条争议对话,由 HR 与法务各标注一遍,分歧当场裁定。现场再随机抽十条会话要求回溯到条款与处理人,权限与日志由信息安全同事现场演示,缺一项就进整改。
可执行步骤
- 用历史简历、真实问询与制度条款建测试集,覆盖常见、边界与争议三类
- 由 HR 与法务各自标注参考答案,分歧当场裁定,并把结论写入验收确认单
- 把四项指标的分子分母、抽检比例与分歧认定写成验收条款,双方签字
- 现场演示权限、日志与回溯能力,随机挑历史会话要求当场复现处理过程
- 按缺口分类约定整改轮次,复验换新样本,而不是重复使用上一轮的旧样本
常见坑
- 用供应商准备的演示问题验收,覆盖不到争议与边界场景,上线后第一起申诉就暴露问题。
- 只测答复像不像人话,不测条款与日期是否准确,员工按错误口径休假,HR 只能事后补救。
- 合规项只看文档不看现场演示,权限实际给了全量数据,验收通过但风险留在生产环境里。

自检与验收清单
- 测试集是否覆盖常见、边界与争议三类问题,且来自真实记录
- 参考答案是否由 HR 与法务双人标注并签字
- 四项指标的分子分母与抽检比例是否书面化,并双方签字
- 权限、日志与回溯能力是否现场演示,并留存记录
- 整改轮次与复验样本是否写入确认单,并由双方签字
常见问题
测试集要多大才够?
不看绝对数量,看覆盖:常见问题、边界情形、争议个案各要有,且来自真实记录。规模小的企业几十条也能起步,关键是由业务与法务共同确认答案,并在每次制度调整后补充新样本。
答复一致率怎么测?
同一问题用不同说法问多次,看口径是否一致;再与新制度条款比对,看是否同步更新。做法是把问题分成事实类与解释类,事实类要求完全一致,解释类允许措辞不同但结论必须相同。
出了争议谁来举证?
企业需要能说明当时的依据与处理人,所以留痕是验收项而不是附加功能。系统应保存输入、引用条款、答复内容与复核人;没有这些记录,争议时只能靠口头说明,风险由企业承担。
