AI PM Buddy从学习到交付
♢新
正在读取本机记录…
重要产品判断◷ 70 分钟

Human-in-the-loop 与人工审批

在高风险或低信心节点引入人工决策。

学完你能做到
  • 用自己的话解释“Human-in-the-loop 与人工审批”及其核心术语。
  • 在真实 AI 产品场景中识别何时应该使用本课方法。
  • 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
前置与关联课程

完成阶段 5 的能力检查，或先预览相关基础课

前置 · 规划执行循环、多 Agent、状态与记忆关联 · 评测集、黄金答案、指标与 LLM-as-a-Judge
01

REAL SCENE

先从一个真实场景开始

!

AI 自动生成合同并准备发送，系统只在最后让法务检查一份几十页文档。人工节点过晚、信息不足，既无法降低风险又造成审核负担。Human-in-the-loop 不是“加一个确认按钮”，而是在最能改变结果的节点提供证据、差异和可执行选择。

02

PLAIN EXPLANATION

说人话：它到底是什么？

Human-in-the-loop 把人工判断嵌入 AI 流程。介入位置由影响、可逆性、模型不确定性、法规和异常决定，可发生在输入确认、方案选择、执行批准、抽样复核或事后申诉。好的审批包包含任务、模型建议、证据、变化、影响范围与备选动作；系统还要定义超时、转派、拒绝、修改和审计。

01

按风险选择介入点

低风险可逆输出允许用户事后编辑，高风险不可逆动作必须事前审批；中等风险可按规则、置信或随机抽样进入人工。不能仅使用模型自报置信，需结合任务类型与失败历史。

  • 风险由影响与可逆性共同确定
  • 新场景提高审核比例
  • 自动化权限随证据逐级放开
02

设计可判断审批包

审批者需要看原始输入、AI 建议、来源、关键差异、政策规则和下游影响，而不是重做全部工作。支持批准、修改、拒绝、退回补充，并要求高风险拒绝或覆盖理由。

  • 突出异常与不确定字段
  • 批量操作提供抽样和总影响
  • 审批界面不默认聚焦危险动作
03

队列与反馈闭环

审批任务有优先级、SLA、能力路由、转派与升级；超时不能默认为批准。人工修改可进入失败分析，但用于训练或评测前要脱敏、审查一致性与获得必要授权。

  • 记录谁在何时基于何证据决定
  • 监控通过率修改率与积压
  • 申诉结果反哺规则和评测集
01

人工节点放在高影响、不可逆或低把握的决策之前。

02

审批包让人高效判断证据和影响，而不是从头重做。

03

审批有队列、SLA、审计和申诉，反馈进入受控改进闭环。

#Human-in-the-loop#人工审批#可逆性
03

KEY POINT

这节课最重要的结论

核心重点
人工介入点应由风险、可逆性和模型信心共同决定。
为什么重要
这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
适用边界
当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
04

EXAMPLES

正确案例与常见反例

✓ 正确做法

合同生成后先高亮与标准条款差异、引用政策和风险等级；普通措辞由业务编辑，高额赔偿或数据跨境条款路由法务审批。超时转派而非自动通过，审批理由和修改形成脱敏评测样本，发布前仍由有权限签署人确认。

× 常见误区

系统把所有 AI 输出都交法务逐字审，造成积压；同时设置 24 小时无人处理即自动发送。审批页没有原文差异、来源和影响，默认按钮是“批准”。模型低置信却未触发，高风险遗漏也无申诉路径。

和工程师这样沟通

“riskPolicy 由 taskType、impact、reversibility、novelty 和历史失败共同决定，不信任模型单一 confidence。approval payload 包含 diff、citations、affectedObjects 与 alternatives；timeout 只能 escalate，绝不 auto-approve。”

05

HANDS-ON

必做实操任务

本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《Human-in-the-loop 与人工审批》一页实践卡

  1. 步骤 1为一个 AI 流程标出输入、生成、建议、执行和事后五类人工介入候选。

  2. 步骤 2用影响、可逆、置信、法规和新颖度构建审核路由矩阵。

  3. 步骤 3设计审批包的原始输入、建议、证据、差异、影响和四种操作。

  4. 步骤 4定义队列优先级、SLA、转派、超时、申诉和反馈使用规则。

○
实践完成度 0/4

实践结果会自动保存在本机，并进入项目工坊的任务来源。

人工审批节点设计AI 任务与拟执行动作：____ 影响对象/规模：____ 可逆性：____　失败成本：____ 法规或责任要求：____ 介入位置：输入 / 建议 / 执行前 / 抽样 / 事后 路由规则：____ 审批角色与权限：____ 审批包：原始输入____ 建议____ 证据____ diff____ 影响____ 动作：批准____ 修改____ 拒绝____ 补充____ SLA、优先级、转派和超时：____ 审计与申诉：____ 通过/修改/积压指标：____ 反馈用于评测或训练的治理：____
06

CHECKLIST

产品经理工作检查表

07

MASTERY QUIZ

掌握测验

达到 60% 即可完成本课。

1Human-in-the-loop 的关键设计目标是什么？
2审批超时为何不应默认通过？
3一个有效审批包应优先包含什么？
08

INTERVIEW

常见面试题

如何为 AI 高风险流程设计 Human-in-the-loop？
展开参考回答

按任务影响、可逆性、法规、新颖度和历史失败确定介入点，高风险动作在执行前审批；构建含输入、建议、证据、差异、影响和备选的审批包，支持批准修改拒绝补充。队列有权限、优先级、SLA、转派和升级，超时不自动通过，所有决定审计并支持申诉，反馈经治理进入评测。

09

RECAP & FURTHER READING

重点回顾、延伸阅读与下一步

一句话回顾人工介入点应由风险、可逆性和模型信心共同决定。
  1. 1

    围绕“Human-in-the-loop 与人工审批”继续阅读：选择一篇真实用户研究或产品决策复盘，识别其中的问题证据、方案取舍与验证闭环。

  2. 2

    用“Human-in-the-loop、人工审批、可逆性”作为检索词，分别写下一条定义、一条适用边界和一个反例。

  3. 3

    对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。