小样本波动剧烈

用通俗语言解释统计功效

来自样本的每一个测量值都是真实值加上噪声。样本越小，噪声相对于信号就越大。这不是你可以通过代码绕过的缺陷，而是对较少观测值进行平均运算的数学必然。

一个有用的经验法则：估计值中的噪声随样本量的平方根缩小，而非随样本量本身缩小。要将不确定性减半，你需要四倍的数据；要将其降至十分之一，你需要一百倍的数据。这就是为什么早期结果如此波动，以及为什么测试的最后阶段感觉如此缓慢。

统计功效（Statistical power）是指如果某个特定大小的真实效应确实存在，检验能够检测到该效应的概率。功效不足（underpowered）的检验是指观测样本量太少，无法可靠地看到其试图检测的效应。功效不足的检验会在两个方向上失败：它们会漏掉真实效应；而且，当它们确实报告出“显著”结果时，该结果更有可能是一个带有噪声的高估。这种第二种失败——被夸大的赢家——才是真正让决策者付出代价的。

实际的纪律要求：在运行测试之前，先确定值得采取行动的最小效应量，然后计算检测该效应所需的样本量。运行至该样本量。不要在第一天的数据上就试图解读“茶渣”（即不要过早解读不确定的结果）。

诊断一份功效不足的报告

一份自动化报告送到了你的桌上。它比较了本季度 14 个客户细分群体的流失率。标题写道：“第 7 组流失率飙升至 22%，远高于 9% 的平均水平，需紧急调查。”你查看了详细数据。本季度第 7 组包含 46 名客户。上季度第 7 组有 41 名客户，当时的流失率为 7%。

没有区间的点估计

点周围的条

点估计是一个最佳猜测值：提升率为 12%，均值为 4.2，流失率为 9%。置信区间则是考虑到数据中的噪声，真实值可能占据的范围：提升率为 12%，上下浮动 9%，因此可能在 3% 到 21% 之间。

点估计是猜测，区间则是诚实。一份只展示点估计，没有区间、没有误差线、没有范围的报告，是在隐藏你最需要的那个数字。请将裸露的点估计视为红色警报，而非精确度。

重叠的区间蕴含着一个特定的教训。如果变体 A 的区间是 3% 到 21%，而变体 B 的区间是 1% 到 19%，这两个范围大量重叠。你不能声称 A 优于 B，因为数据与它们相等或 B 领先的情况是一致的。两个点估计可能不同，但它们的区间表明这种差异只是噪声。

一个更微妙的陷阱：一个完全位于零之上的宽区间告诉你效应是真实的，但其大小存在不确定性。一个跨越零的宽区间则告诉你，你甚至不知道效应的方向。这两者需要不同的决策。区间的宽度是信息，而非装饰。

解读两个重叠的区间

一位供应商向你推销他们的推荐引擎。他们的幻灯片上写着：“我们的引擎将平均订单价值提升至 $58.40（95% 置信区间 $54.10 至 $62.70）。对照组平均为 $55.90（95% 置信区间 $51.30 至 $60.50）。”他们以粗体字得出结论：“每单清晰提升 $2.50，立即上线。”

测试足够多的东西，总会有一个“胜出”

你看得越多，发现得越多

P值为 0.05 意味着，如果实际上没有效应，你仅凭运气看到如此强结果的概率约为 1/20。当你只运行一次诚实的测试时，这是一个可接受的风险。但当你运行二十次测试时，这就变成了几乎必然会出现假阳性。

多重比较：如果一个仪表盘将你的用户按 20 个维度（设备、地区、小时、来源、套餐层级等）进行切片，并标记看起来“显著”的任何一个切片，那么即使没有任何真实效应，你也应该预期每次运行大约会出现一个假阳性“赢家”。该工具并没有对任何单一测试撒谎。它只是默默地运行了许多测试，并报告了最幸运的那一个。

P值操纵（P-hacking）是一系列制造显著性的手段：尝试多种结果指标并报告那个跨过阈值线的指标；不断添加或移除控制变量直到 P 值下降；在看起来显著的那一刻停止数据收集；或者将数据拆分为子组，直到某个子组“有反应”。这些行为都不需要故意不诚实；有动机的分析师往往在不知不觉中就会进行 P 值操纵。

防御措施必须是结构性的。预注册：在看到数据之前，写下唯一的一个假设和唯一的一个指标。保留集（Holdout）：预留一份新的数据切片，并确认该发现在这份没有机会被“挑拣”的数据上依然成立。校正：当你必须运行许多测试时，提高标准（如 Bonferroni 校正、错误发现率控制），使阈值考虑到查看的次数。一个在保留集上依然成立的发现，远比一个仅仅在第一次尝试中跨过 0.05 的发现更有价值。

发现“赢家”的分析师

一位分析师报告说：“好消息，我们发现电子邮件营销活动显著增加了购买量（p = 0.03），针对的是使用 Android 设备、年龄在 25-34 岁之间且在晚上 8 点后打开邮件的用户。”他们正在申请预算，以将该活动推广给所有用户。你得知，该分析师在得出这一特定组合之前，已经检查了按设备、年龄段和一天中不同时间段划分的购买率。

显著可能仅意味着微小

两个不同的问题

统计显著性回答了一个问题：该效应能否与零区分开来？效应量回答了另一个问题：效应有多大？一个结果可能既具有压倒性的统计显著性，又在实质上毫无意义。

关键在于样本量。只要样本量足够大，几乎任何差异都会变得具有统计显著性，因为置信区间会缩小，直到即使微小的效应也不再触及零。一项针对 500 万用户的测试可以报告称，新的按钮颜色“显著”提升了 0.02% 的点击率，且 p < 0.0001。p 值无可挑剔，但效应毫无价值。

因此，没有效应量的显著性只是半句话。决策者需要问的是：效应有多大？它是否大到足以影响这一决策？其价值是否超过其成本？一个需要六个月工程项目的 0.02% 提升，无论其统计显著性如何，在实践层面都是失败的。

反过来看也是如此。一个巨大且前景看好的效应量，如果伴随着较宽的置信区间（来自检验效能不足的测试），可能是一个值得进行更大规模、具备充分检验效能的后续研究的真正机会。显著性和效应量是两个独立的调节旋钮。请同时阅读两者。

显著但值得发布吗？

你的平台团队在 400 万次会话上运行了一项严谨且统计功效充足的实验。结果是：“新的结账布局显著增加了完成的购买，p < 0.001。提升幅度为 +0.05 个百分点（完成率从 4.10% 提升至 4.15%）。” 发布该布局需要两个月的重构工作，并会使代码库变得复杂。团队辩称：“既然具有统计显著性，我们就有义务发布它。”

谁收集了这些数据？它具有普遍性吗？

数字总有来源

在关注任何 p 值或置信区间之前，先问数据从何而来。两个问题能解决大部分问题：基础比率是多少？这个样本能否推广到你关心的总体？

基础比率是你所读到的任何比率的锚点。一个检测欺诈“准确率 95%”的测试听起来很棒，但当你注意到欺诈仅占交易的 0.1% 时，情况就变了：在这个基础比率下，绝大多数被标记的交易都是误报，因为占绝大多数的诚实交易中 5% 的误报数量，远远超过了占极小比例的欺诈交易中 95% 的检出数量。忽略基础比率，正是技术准确却产生毫无用处的噪音警报流的原因。在评判任何检测率或响应率数字之前，务必先询问底层比率是多少。

来源是数字的保管链。谁收集的？如何收集的？针对谁？由你最活跃的用户回答的问卷并不能描述你的流失用户。在假日促销期间测量的转化率并不能描述普通的周二。由销售该产品的供应商运行的基准测试并非中立测量。抽样方法、时机、测量工具以及谁从结果中受益，都决定了这个数字是否能推广到你的决策场景。

普遍性是最后一道关卡。在一个情境（一个国家、一个季节、一个客户层级、一种设备）中收集的数据，可能无法迁移到另一个情境。数字可能测量得完美无缺，但对于你的问题来说，它仍然是错误的数字。“在此处为真”和“对我的决策为真”是不同的主张。

供应商网站上的案例研究

某软件供应商的落地页声称“使用我们工具的公司生产力提高了 35%”。该数据来自一份案例研究，涉及 3 家由供应商挑选并撰写报告的客户公司，由这些公司自行报告节省的时间，测量时间为供应商团队提供手把手“白手套”式入职服务后的第一个月。

两分钟怀疑者检查清单

将此清单应用于任何研究、仪表盘或自动化报告

你现在掌握了这五种直觉。以下是你可以针对任何落在你桌上的自信数字，在两分钟内快速执行的检查清单。

1. 样本量与统计功效。 这个数字背后的样本有多大？它是否足够大以检测出值得采取行动的效果，还是小到仅凭少数几个观察值就会剧烈波动？基于极小群体的比率大多是噪声。

2. 区间而非点估计。 是否有置信区间或误差棒，还是仅仅有一个裸露的点估计？没有区间的点估计是一个危险信号。如果比较了两件事，它们的区间是否重叠？重叠意味着差异尚未确立。

3. 比较次数。 这是一次预先声明的测试，还是从众多测试中运气最好的一片？询问考察了多少指标、细分或变体。从搜索中得出的“显著”赢家，在你相信它之前，需要一个新的保留集或预先注册的确认。

4. 效应量与显著性。 暂时把 p 值放在一边：效应有多大，相对于其成本，它是否大到足以影响这个决策？在巨大样本上“显著”的结果可能仍然微不足道。

5. 基础比率与来源。 这个数字所依据的潜在基础比率是多少？谁收集了数据，如何收集，针对谁，以及谁从结果中受益？测量它的背景是否与你正在做的决策相匹配？

带着一句话走出这扇门：在见到其样本、区间、比较和来源之前，数字只是主张，而非事实。 这些工具会持续输出看似自信的数字。你的任务是读懂它们所遗漏的四件事。

推荐深入阅读的包括：达雷尔·赫夫的《用数据说谎》（How to Lie with Statistics）、查尔斯·惠兰的《裸体统计学》（Naked Statistics）、雷吉娜·努佐关于 p 值操纵（p-hacking）的文章，以及关于如何阅读研究方法的 CONSORT 指南。