AI PM Buddy从学习到交付
♢新
正在读取本机记录…
核心重点数据分析◷ 85 分钟

A/B 测试、显著性、相关与因果

用受控实验验证产品改动是否真正有效。

学完你能做到
  • 用自己的话解释“A/B 测试、显著性、相关与因果”及其核心术语。
  • 在真实 AI 产品场景中识别何时应该使用本课方法。
  • 完成一份可沉淀进“指标树、埋点方案、看板草图与 A/B 测试方案”阶段任务的实践产出。
前置与关联课程

完成阶段 3 的能力检查，或先预览相关基础课

前置 · 数据看板、异常诊断与产品 SQL关联 · AI 产品指标、数据质量、偏差与隐私
01

REAL SCENE

先从一个真实场景开始

!

按钮改成红色后转化提高 3%，团队宣布胜利并立即全量。后来发现实验组恰逢营销渠道流量，且每天反复查看，首次显著就停止；退款率还明显上升。A/B 测试只有在分流、指标和停止规则预先确定时才能支持因果判断。

02

PLAIN EXPLANATION

说人话：它到底是什么？

A/B 测试把符合条件的实验单位随机分到对照和实验组，只让目标改动系统性不同，再比较预先定义的主指标。显著性衡量在无真实差异假设下观察到当前结果的罕见程度，不等于效果重要或一定为真。实验还需样本量、最小可检测效果、持续周期、护栏和完整性检查。相关关系来自共同变化，因果需要排除混杂与选择偏差。

01

实验设计与分流

先写假设、目标人群、实验单位、随机化键和互斥规则。用户级实验应让同一用户稳定分组，避免跨设备污染；双边市场或社交影响场景可能需要集群实验。

  • 只改变待验证核心变量
  • 控制同期活动和交叉实验
  • 首次暴露与实际处理均记录
02

指标、样本与停止

主指标只选一两个，护栏覆盖质量、成本和风险。根据基线、最小有意义效果、显著水平和检验功效估算样本，并覆盖完整业务周期；不能每天偷看后见好就收。

  • 实验前冻结口径和方向
  • 报告置信区间与实际效果
  • 停止规则含异常安全退出
03

完整性与解释边界

先检查样本比例异常、分流稳定、事件缺失和实验组实际暴露。显著但效果极小未必值得上线；不显著也可能是样本不足。探索性分群结果要标注并后续复验。

  • SRM 出现先停止解释效果
  • 意向分析保留随机化价值
  • 外推到新场景需谨慎
01

实验前冻结假设、人群、分流、主指标、样本和停止规则。

02

统计显著与业务价值分别判断，并同时查看护栏。

03

先通过样本比例、暴露和数据质量检查，再解释因果结果。

#A/B 测试#显著性#因果关系
03

KEY POINT

这节课最重要的结论

核心重点
实验前确定假设、主指标、样本和停止规则，不能看到结果后再改口径。
为什么重要
这决定了定义指标、设计埋点、分析效果，并通过实验支持决策时，团队是否拥有一致、可验证的判断标准。
适用边界
当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
04

EXAMPLES

正确案例与常见反例

✓ 正确做法

团队假设简化首课入口能提升 7 日实践完成率，以 user_id 稳定 50/50 分流，预估样本并运行两个完整周；主指标和投诉、退出护栏预注册。结果给出差值与置信区间，SRM 正常，效果超过最小价值且护栏稳定后再灰度。

× 常见误区

运营把新渠道全部放实验组，每天查看十几个指标，某个点击率 p<0.05 就提前结束；实验组其实只有一半看到新界面，退款和投诉未纳入。团队把相关差异当成改版必然造成的因果效果。

和工程师这样沟通

“实验按 user_id 哈希稳定分桶并记录 assignment 与 exposure；上线前冻结 eligibility、主指标、护栏、MDE、样本和停止日期。分析先做 SRM、事件完整性和实际暴露检查，再输出差值、区间与分群探索。”

05

HANDS-ON

必做实操任务

本节产出：“指标树、埋点方案、看板草图与 A/B 测试方案”阶段任务中的《A/B 测试、显著性、相关与因果》一页实践卡

  1. 步骤 1把一个产品想法写成可证伪假设、目标人群、变量和预期方向。

  2. 步骤 2定义随机化单位、分桶键、互斥规则、首次暴露和污染风险。

  3. 步骤 3选择主指标与三类护栏，写出基线、最小有意义效果和停止规则。

  4. 步骤 4阅读一组实验结果，检查 SRM、区间、业务价值与外推边界。

○
实践完成度 0/4

核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。

A/B 实验预注册单决策与假设：如果____，那么____，因为____ 目标人群与排除：____ 对照：____　实验：____　唯一差异：____ 随机化单位与分桶键：____ 污染、互斥与同期活动：____ 主指标口径：____　方向：____ 护栏：质量____ 成本____ 风险____ 基线：____　MDE：____　显著水平：____　功效：____ 样本与完整周期：____ 停止规则：____ SRM/暴露/数据检查：____ 结果：差值____ 区间____ 业务价值____ 推广与复验：____
06

CHECKLIST

产品经理工作检查表

07

MASTERY QUIZ

掌握测验

核心重点需达到 80% 才算掌握，未通过会进入错题本。

1随机分组在 A/B 测试中的主要作用是什么？
2为什么不能每天查看结果并显著后立刻停止？
3统计显著但效果很小应如何判断？
4SRM 指标发现分组比例严重异常时应怎样做？
5实验中的护栏指标用于什么？
08

INTERVIEW

常见面试题

你会如何设计并解读一次 A/B 测试？
展开参考回答

预先写可证伪假设、资格人群、随机单位、稳定分桶、唯一变量与污染控制；冻结主指标、护栏、基线、MDE、样本、周期和停止规则。实验中监控 SRM、暴露与数据质量，结束后报告效果量、置信区间和护栏，不把显著等同业务价值，也不把探索分群当确认结论，最后决定灰度、复验或放弃。

09

RECAP & FURTHER READING

重点回顾、延伸阅读与下一步

一句话回顾实验前确定假设、主指标、样本和停止规则，不能看到结果后再改口径。
  1. 1

    围绕“A/B 测试、显著性、相关与因果”继续阅读：选择一份真实指标或实验分析案例，检查口径、样本、偏差、因果假设与护栏指标。

  2. 2

    用“A/B 测试、显著性、因果关系”作为检索词，分别写下一条定义、一条适用边界和一个反例。

  3. 3

    对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。