测试集先于验收

用历史简历、真实问询与制度条款建一套测试集,覆盖常见问题、边界问题与个案争议三类。为什么必须自己建:供应商的演示样本偏简单,测不出争议场景。建议由 HR 与法务共同标注参考答案,标注分歧当场解决,避免验收时争论标准。

机房设备与线缆的微距画面
能力场景:基础设施与团队自有素材

四项可量化指标

简历要点召回看关键信息是否漏抽;提纲可用率看面试官是否直接采用;答复一致率看同一问题多次提问是否给出同一口径;引用准确率看条款与日期是否对得上。怎么算:分母取测试集条数,分子取双人确认正确的条数,分歧单独列出。

合规项一票否决

个人信息是否最小必要、敏感字段是否隔离、权限是否按岗位最小化、访问是否留日志,任一项不达标即不通过。为什么单列:这些问题不会在日常使用中暴露,一旦出事却最难补救,验收时必须现场演示而不是看文档。

申诉与留痕

候选人申诉、员工对答复有异议时,系统要能给出当时的输入、引用条款与处理人。验收时随机挑几条历史会话,要求现场回溯。为什么是硬项:做不到这一点,等于把争议处理的举证责任留给企业自己。

适用与不适用

适合谁

  • 正在签 HR AI 合同、需要写验收条款的企业
  • 已上线但说不清效果的 HR 共享服务中心

不适合谁

  • 只做内部演示、不准备做抽检与申诉机制的项目

典型场景

某集团验收时用自己的测试集:两百条历史问询、一百份简历、三十条争议对话,由 HR 与法务各标注一遍,分歧当场裁定。现场再随机抽十条会话要求回溯到条款与处理人,权限与日志由信息安全同事现场演示,缺一项就进整改。

可执行步骤

  1. 用历史简历、真实问询与制度条款建测试集,覆盖常见、边界与争议三类
  2. 由 HR 与法务各自标注参考答案,分歧当场裁定,并把结论写入验收确认单
  3. 把四项指标的分子分母、抽检比例与分歧认定写成验收条款,双方签字
  4. 现场演示权限、日志与回溯能力,随机挑历史会话要求当场复现处理过程
  5. 按缺口分类约定整改轮次,复验换新样本,而不是重复使用上一轮的旧样本
能力、岗位与硅基员工类目结构示意图
类目示意图:能力、岗位与硅基员工通用流程示意 · 上岸智源

常见坑

  • 用供应商准备的演示问题验收,覆盖不到争议与边界场景,上线后第一起申诉就暴露问题。
  • 只测答复像不像人话,不测条款与日期是否准确,员工按错误口径休假,HR 只能事后补救。
  • 合规项只看文档不看现场演示,权限实际给了全量数据,验收通过但风险留在生产环境里。
俯拍桌面与协作中的团队
团队协作:电脑与文件自有素材

自检与验收清单

  • 测试集是否覆盖常见、边界与争议三类问题,且来自真实记录
  • 参考答案是否由 HR 与法务双人标注并签字
  • 四项指标的分子分母与抽检比例是否书面化,并双方签字
  • 权限、日志与回溯能力是否现场演示,并留存记录
  • 整改轮次与复验样本是否写入确认单,并由双方签字

常见问题

测试集要多大才够?

不看绝对数量,看覆盖:常见问题、边界情形、争议个案各要有,且来自真实记录。规模小的企业几十条也能起步,关键是由业务与法务共同确认答案,并在每次制度调整后补充新样本。

答复一致率怎么测?

同一问题用不同说法问多次,看口径是否一致;再与新制度条款比对,看是否同步更新。做法是把问题分成事实类与解释类,事实类要求完全一致,解释类允许措辞不同但结论必须相同。

出了争议谁来举证?

企业需要能说明当时的依据与处理人,所以留痕是验收项而不是附加功能。系统应保存输入、引用条款、答复内容与复核人;没有这些记录,争议时只能靠口头说明,风险由企业承担。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. 中华人民共和国个人信息保护法 全国人民代表大会常务委员会 · 2021
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022