AI 产品指标、数据质量、偏差与隐私
组合采纳率、任务成功率、重试率和人工接管率评估 AI。
- 用自己的话解释“AI 产品指标、数据质量、偏差与隐私”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“指标树、埋点方案、看板草图与 A/B 测试方案”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
AI 助手调用量上涨，团队认为产品成功，但用户频繁重试同一个任务并最终转人工。另一群用户一次就完成，调用反而少。AI 产品必须把采纳、任务结果、失败结构、人工接管、成本和数据质量放在一起看，同时只采集真正必要的数据。
PLAIN EXPLANATION
说人话：它到底是什么？
AI 指标分为入口采纳、过程交互、任务结果、质量、信任与运营成本。采纳率说明用户是否尝试，任务成功率要结合可观察结果或人工评价，重试率可能是探索也可能是失败，人工接管率需按风险场景解释。模型输出和用户反馈会受选择偏差影响，缺失、重复、评测样本不代表真实流量都会误导。数据隐私遵循目的限定和最小化。
任务级成功指标
一次模型调用不是完整任务，多个调用、编辑和工具动作应聚合到 taskId。成功标准按场景定义，例如正确解决工单、引用充分的答案或用户完成发布，而非只看生成结束。
- 区分技术成功与业务成功
- 首轮成功和最终成功分别观察
- 高风险结果加入人工确认
失败结构与反馈偏差
重试要区分改输入、换策略、系统失败与用户探索；接管要记录发生阶段和原因。点赞点踩通常只有少数用户提交，不能直接代表全量质量，应与抽样评测和任务结果交叉验证。
- 失败使用稳定可行动分类
- 反馈关联模型与 Prompt 版本
- 沉默用户通过随机抽样覆盖
质量与隐私治理
事件丢失、重复、延迟和版本混合会改变指标。采集 Prompt 或输出前明确目的、合法基础、访问、保留和删除；能用长度、类别或脱敏摘要回答的问题，不保存原文。
- 训练与产品分析用途分开同意
- 敏感字段检测和访问审计
- 数据质量指标进入同一看板
以用户任务而非模型调用为统计单位，区分技术成功与业务成功。
把采纳、质量、重试、接管、成本和风险组合解释。
反馈偏差与数据质量显式监控，个人数据按目的最小化。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了定义指标、设计埋点、分析效果，并通过实验支持决策时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
客服助手用 taskId 聚合一次工单处理，记录建议采纳、编辑幅度、解决、重新打开和人工接管原因；每周随机抽样沉默用户会话做脱敏评审。看板同时展示质量、p95、单解决成本和安全事件，原文按目的授权并短期保留。
团队把调用次数和 thumbs_up 比例当成功，重试越多数字越好；只分析主动反馈的 2% 用户。Prompt 与个人信息永久进入公开分析表，没有保留期和访问审计，事件版本变化也未标注。
“请用 taskId 跨多次模型调用聚合，分别记录 technicalSuccess、taskOutcome、retryReason 与 takeoverReason；反馈关联 model、prompt、knowledgeVersion。原文默认不进分析事件，必要样本走脱敏、权限和保留策略。”
HANDS-ON
必做实操任务
本节产出：“指标树、埋点方案、看板草图与 A/B 测试方案”阶段任务中的《AI 产品指标、数据质量、偏差与隐私》一页实践卡
步骤 1为一个 AI 功能区分调用、会话、任务三个粒度并选择主要分析单位。
步骤 2定义采纳、首轮成功、最终成功、重试和人工接管的业务口径。
步骤 3建立事实错、缺失、拒答、工具错、延迟和安全等失败分类。
步骤 4审计采集字段的目的、必要性、访问、保留、删除与替代方案。
实践结果会自动保存在本机，并进入项目工坊的任务来源。
功能与完整任务：____
统计单位：taskId____ sessionId____ callId____
入口：曝光____ 尝试____ 采纳____
过程：编辑____ 重试____ 工具调用____
结果：技术成功____ 首轮成功____ 最终成功____
失败分类：____
人工接管：阶段____ 原因____ 结果____
质量来源：用户反馈____ 随机抽样____ 离线评测____ 业务结果____
护栏：延迟____ 成本____ 安全____
数据质量：缺失____ 重复____ 迟到____ 版本____
采集目的：____ 最小字段：____
访问、保留、删除与用户权利：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
达到 60% 即可完成本课。
INTERVIEW
常见面试题
展开参考回答
以完整 taskId 为单位，同时看曝光与采纳、首轮和最终任务成功、编辑、重试原因、人工接管、业务结果及长期留存；质量由用户反馈、随机抽样、离线评测和真实结果交叉验证。再加入延迟、单任务成本和安全护栏，检查埋点缺失重复及版本，并按目的最小化采集原文和个人信息。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“AI 产品指标、数据质量、偏差与隐私”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“任务成功率、人工接管率、数据偏差”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。