信号一:能复盘失败

可靠的人会主动谈失败项目的边界:哪里判断错了、如何发现、后来怎么改。为什么重要:只讲成功案例的人,往往没有经历过真实交付。边界是复盘要具体到数据与决策节点,泛泛而谈说明参与度不深,也难以判断其真实角色。

多屏数据看板与图表界面
数据看板:指标与趋势自有素材

信号二:作品能跑

作品应能在他自己的环境跑起来,并有评测记录与版本说明。怎么看:让他现场改一个参数或换一份输入,观察是否理解系统边界。边界是演示视频与截图不算作品,课程作业也要说明哪些部分由本人完成。

信号三:数据与合规意识

可靠的人会先问数据能否出内网、权限如何划分、输出是否需要标识与留痕。为什么:这些问题决定项目能否通过评审。边界是意识不能替代专业意见,涉及个人信息与对外发布仍应由法务与安全人员确认。

组合判断:三项互相印证

能复盘说明有真实经验,作品能跑说明有工程能力,合规意识说明能长期合作。为什么:三项分别对应经验、工程与合作稳定性。三项缺一项都要谨慎。用法是作为面试与供应商评估的清单,而不宜作为唯一标准,也不应据此评价在职员工的绩效。

谁负责:两面共同评估

评估应由两方共同完成:技术负责人看作品能否运行、能否解释取舍,业务负责人看是否理解场景与责任。两边分开打分再合并结论,避免一面通吃。录用或签约前,把评测记录与复盘写进记录并签字。服务商与顾问只提供证据与评估框架,不替企业做用人决定。

适用与不适用

适合谁

  • 正在面试 AI 岗位候选人的团队
  • 需要评估外部服务商交付能力的采购方
  • 准备把项目交给外部团队的业务负责人

不适合谁

  • 只需要了解概念、不做评估的读者
  • 已完成选型、进入实施阶段的项目

典型场景

某集团评估两家服务商,方案书都很完整。评审组要求现场用脱敏样本跑一遍,并复盘一个失败项目。一家能现场调整并说明取舍,另一家只能播放演示视频。最终选择前者,并在合同中约定评测记录与交接文档,明确撤离条件。

可执行步骤

  1. 准备一份脱敏样本与三个边界问题,要求现场操作并解释判断依据,限时四十分钟。
  2. 请对方复盘一个失败项目,追问发现方式、后续改动与责任划分,并记录具体时间点。
  3. 查看作品的评测记录、版本说明与责任分工,确认哪些部分由本人完成,与本人贡献。
  4. 询问数据出内网、权限划分与输出标识的处理方式,看回答是否具体,是否具体。
  5. 把三项结论写成书面评估,作为合同条款与验收依据,并约定复核时间,与责任人。
数据、趋势与行业观察类目结构示意图
类目示意图:数据、趋势与行业观察通用流程示意 · 上岸智源

常见坑

  • 只看方案书与演示视频,未现场验证,实施阶段才发现无法处理真实数据,工期被迫延长,成本随之上升。
  • 把团队成果当个人能力,入职后无法独立推进,项目进度受影响,团队也要重新分工,招聘需重来,团队需要重新分工。
  • 忽略合规意识,系统上线后被要求整改,工期与成本同时增加,客户信任受损,返工不可避免,客户信任下降。
  • 用三个信号给在职员工打绩效,忽视岗位差异,引发不必要的争议与人员流失,团队信任受损,后续推进困难。
大屏幕展示团队协作主题的课件
课件屏幕:主题讲解自有素材

自检与验收清单

  • 是否准备脱敏样本与边界问题并现场验证,与判断记录
  • 是否要求复盘一个具体的失败项目及后续改动
  • 作品是否有评测记录、版本说明与责任分工,缺一不可
  • 是否询问数据出网、权限划分与标识要求,看回答细节
  • 评估结论是否写入合同条款、验收依据与复核时间

常见问题

没有作品怎么办?

可以给一个限时的实作题,用脱敏样本完成小任务,重点看思路与边界,而不是结果多漂亮。应届生或转岗人员通常没有商用作品,实作题比简历更能反映真实能力与沟通方式。

合规意识怎么问出来?

不要问是否了解法规,而是问具体场景:客户数据能否上传、输出要不要标识、出错如何追溯。回答是否具体、是否主动提出权限与留痕,比背条款更能说明问题,也更能看出经验。

外部团队也要这样评估吗?

更需要。外部团队的交付直接影响业务连续性,应把现场验证、评测记录与交接文档写进合同,并约定撤离前的独立演练,避免项目随人走,日后更换供应商时也不至于被动。

参考来源

  1. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. The 2025 AI Index Report Stanford Institute for Human-Centered AI (HAI) · 2025