AB测试中的指标设计

指标设计，说白了就是给AB实验定个「及格线」。你想想看，没有指标，你咋知道新版是好是坏？我个人习惯是先想清楚三个问题：测什么、怎么测、用什么尺子量。今天咱们就聊聊这些尺子该怎么选、怎么造。

指标设计的三个层次

我刚开始带团队做AB实验时，踩过一个坑：上来就盯着「转化率」一个数字看。结果实验跑了一周，转化率涨了0.5%，大家开心得不行，准备全量发布。还好当时留了个心眼，看了眼用户留存……嗯，留存掉了2%。

说白了，指标不能只有一层。我把它分成三个层次：

• 北极星指标：整个业务的终极目标，比如电商的GMV、社交平台的DAU。这个指标不能频繁变，变了整个体系要重来。
• 核心指标：当前实验要验证的关键假设，比如「新增注册按钮」这个实验的核心指标就是注册转化率。
• 辅助指标：用来评估副作用的，比如页面加载时间、跳出率、人均浏览时长等。辅助指标往往决定一个实验能不能安全上线。

核心指标 vs 辅助指标

这两个词很多人混着用，但实际差别大了去了。核心指标是你要的「果」，辅助指标是你看的「因」或「代价」。

特性	核心指标	辅助指标
目的	验证实验假设是否成立	监控实验带来的副作用
数量	1~2个	3~8个
统计检验	必须通过显著性检验	可放宽，关注趋势
典型例子	注册转化率、购买率	页面加载时间、跳出率、用户投诉量
决策权重	高（决定性）	中（拦路虎，一票否决）

为什么要分这么细？我记得有一次做推荐算法AB，核心指标「点击率」涨了3%，美滋滋。结果看辅助指标「人均曝光数」——涨了15%！说明用户点了更多，但不是因为推荐变准了，而是曝光变多了。这种虚假繁荣，你光看核心指标根本发现不了。

指标 vs 相对指标

这个问题我在面试里经常问，但很多人答不到点子上。指标就是原始数值，比如「下单用户数从1000涨到1100」；相对指标是变化百分比，比如「下单用户数涨了10%」。

你可能会问，我直接用相对指标不好吗？统一口径方便对比。嗯，这里要注意：相对指标在基数很小时会放大噪声。比如初始转化率只有0.1%，涨到0.15%就是50%的增长，但值只增加了0.05%——这种「暴涨」在统计上往往不可信。

实践中我更倾向双报告：实验报告里既展示值的均值差异，也展示相对变化百分比。这样大家都能看懂，又能避免被单一数字忽悠。

如何避免「指标污染」

指标污染，说白了就是实验组和对照组之间的指标互相「串台」了。最常见的坑是：你改了一个按钮颜色，结果连其他页面的指标也跟着变了——因为用户在你这个页面对比了两次实验，或者存在A/A实验之间的干扰。

我曾经吃过一次亏：两个实验同时跑，一个改首页Banner，一个改注册流程。结果Banner实验组的注册转化率突然飙了30%，一开始我们以为是Banner的功劳，后来发现注册流程实验的对照组恰好是同一个用户群……这就是典型的指标污染。

• 避免方法1：严格保证实验之间的用户不重叠。用Hash分桶时，不同实验使用不同的盐（salt）。
• 避免方法2：核心指标只统计本实验的影响范围。比如只计算实验页面的用户行为，不要跨页面统计。
• 避免方法3：跑A/A测试检查基线。在正式实验前，先跑一周A/A，验证指标是否有显著差异。如果有，说明你的分桶或指标计算有污染。

建立指标体系卡

讲了很多理论，最后落地成一张表。我个人习惯在每次实验开始前，先写好「指标体系卡」，像开工前的工具清单一样，缺了就补。

指标名称	类型	期望方向	统计方法	备注
注册转化率	核心指标	正向（上涨）	Z检验（双比例）	实验页面内点击注册按钮的用户/进入实验页面的所有用户
页面加载时间	辅助指标（性能）	负向（降低）	Mann-Whitney U	95分位数，避免长尾干扰
跳出率	辅助指标（体验）	负向（降低）	Z检验	仅统计实验页面内无任何点击就离开的用户
人均浏览页面数	辅助指标（商业）	正向（上涨）	t检验	同一session内

把这张表贴在你的实验文档第一页，每次评审时先过一遍。这样你就能避免「实验跑完了发现指标没选对」这种尴尬。

嗯，指标设计这块，核心就这么多。你想想看，你上一次跑AB实验时，有没有漏掉某个辅助指标？有没有遇到过相对指标暴涨但值惨淡的情况？下次咱们再聊样本量计算和实验周期——那是另一个大坑。