分布即形状
统计学具有几何属性
每个数据集都有形状。将数值沿数轴绘制,并在其聚集处堆叠条形,便会显现出轮廓:一个隆起、一个偏斜的倾斜,或一条长尾。统计学为这种形状提供了坐标。
两个地标确定了形状的中心。
均值是质心:即平衡点。想象每个数据值都是放在沿数轴铺设的跷跷板上的等重砝码。均值是跷跷板平衡的唯一支点。远离中心的值产生的杠杆作用,正如远处较重的儿童在跷跷板上产生的作用一样:距离乘以重量。
中位数是按数量居中的值:即有一半数据位于其下方,另一半位于其上方的数值。它只关注顺序和数量,从不关注某个数值偏离多远。
在完全对称的分布形态中,平衡点(均值)与中位点(中位数)重合:均值等于中位数。一旦对称性被打破,二者便会分离。
偏度就是这种被打破的对称性。右偏意味着有一个长尾向高值方向延伸(例如收入数据集中少数亿万富翁的情况)。这些远离中心的数值将平衡点拉向尾部,因此均值落在中位数的右侧。左偏则是其镜像情况。
这就是为什么中位家庭收入与平均家庭收入存在差异:不对称分布的几何特性将质心(均值)拉离了数量上的中点(中位数)。
均值向哪个方向移动?
某城镇报告了其家庭收入情况。大多数家庭的收入在 40,000 到 90,000 之间,但少数居民的收入高达数百万。该收入分布形态有一个向右延伸的长尾。
典型值距离中心有多远?
离散度是一种距离
质心告诉你形状在哪里达到平衡。它并未说明形状的宽度。两个数据集可以拥有完全相同的均值,但外观却截然不同:一个紧密地聚集在中心附近,另一个则广泛分散。
标准差(sigma)衡量离散程度:它实际上代表了数值与均值之间的典型距离。较小的 sigma 意味着形状狭窄且高耸,紧贴中心。较大的 sigma 意味着形状宽阔且扁平,向两侧延伸得更远。
考虑两名射箭手。两人的平均成绩都是正中靶心:他们的质心都位于靶心。射手 A 将所有箭都射在距中心一掌宽以内(小 sigma)。射手 B 将箭射向整个靶面,但偏差相互抵消,使得平均值仍显示为中心(大 sigma)。均值相同,离散程度相反。仅凭均值无法区分二者;标准差可以。
从几何上看,sigma 决定了分布的水平尺度。在不移动平衡点的情况下将形状拉伸得更宽,就是在保持均值不变的同时提高了 sigma。这个单一数值,即形状的宽度,是下一个概念所依赖的基础。
中心相同,宽度不同
两家工厂各自将袋子填充至平均重量 500 克。工厂 A 的标准差为 4 克。工厂 B 的标准差为 20 克。
客户会拒绝任何重量与 500 克偏差超过 15 克的袋子。
像 1 除以根号 n 一样缩小的误差
从数据的离散度到估计值的离散度
你很少能测量整个总体。你抽取一个样本并计算其均值作为估计值。抽取不同的样本,你会得到略有不同的均值。这些样本均值具有自己的形状:抽样分布,它以真实均值为中心。
它的宽度有一个名字:标准误(standard error of the mean)。
SE = sigma / sqrt(n)
其中 sigma 是单个数值的离散程度,n 是样本量。标准误是样本均值与真实均值之间的典型距离:它是你的估计值的离散程度,而非原始数据的离散程度。
几何特性就藏在那个平方根里。SE 随 1/sqrt(n) 下降,而非随 1/n 下降。平均更多测量值会使抽样分布变窄,但收益递减:每增加一个观测值,带来的变窄幅度都比前一个更小。
直白的后果是:要将标准误减半,你必须将样本量增至四倍。从 n = 100 增加到 n = 200 并不能使误差减半;你需要 n = 400。精度之所以昂贵,是因为它与平方根成比例。
上述曲线共享同一个中心,随着 n 从 25 增加到 100 再到 400,其宽度逐渐缩小,其中 sigma 保持在 20。读出每个情况下的 SE:分别为 4,然后是 2,最后是 1。
计算标准误
一组测试成绩的总体标准差为 sigma = 20。你抽取了一个样本量为 n = 100 的样本并计算了其均值。
当坐标轴撒谎时
被操纵的几何
图表是一种几何转译:数字转化为长度、面积和斜率,供眼睛瞬间读取。一旦操纵这种转译,眼睛就会报告一个数据从未说过的谎言。
截断的坐标轴。 柱状图的价值轴应从零开始,以确保柱高与数值成比例。如果将轴的起点设为 95 而非 0,那么从 100 到 102 的上升(实际变化仅为 2%)就会填满整个画面,仿佛变化巨大无比。绘制的长度不再与数字的比例相匹配。在折线图中,同样的技巧会使所有斜率变陡:由于垂直比例被压缩到一个狭窄的窗口内,平缓的上升看起来就像悬崖一样陡峭。
斜率膨胀。 斜率是上升量除以跨度。缩小坐标轴覆盖的范围(即其显示的数值跨度),同时保持像素高度固定,每一次上升都会被重绘得更陡峭。趋势本身并未改变;改变的只是框架的几何结构。
面积与长度的失真。 要展示数量翻倍,诚实的图表会将一个维度加倍:例如柱子高度加倍。而不诚实的图表会在宽度和高度两个方向上同时缩放图标或圆形,使得 2 倍的数值变成面积增加 4 倍的图像。由于眼睛判断的是面积,翻倍看起来就像翻四倍。气泡图经常滥用这一点,因为它们将数值映射到半径而非面积,而面积随半径的平方增长。
专业习惯:检查坐标轴的起点,检查是长度还是面积在编码数值,并在信任形状之前在脑海中重新缩放。
诊断失真
仪表盘显示季度收入从 1 亿上升至 1.04 亿。为了让这一增长看起来更剧烈,设计师将垂直轴的起点设为 98 而非 0。第二个面板通过将一个钱袋图标在宽度和高度两个方向上同时放大 4% 来表现同样的 4% 增长。
形态、分布、误差与坐标轴
回归本质
自动化仪表盘会替你绘制出形态。它们渲染柱状图、拟合曲线、动态展示趋势。但它们无法带着判断力去解读几何形态。那是专业人士的工作。
经过训练的读者会对任何图表执行四项检查:
- 重心。 形态的平衡点在哪里?偏态是否将均值拉离了中位数?单个报告的平均值可能掩盖了失衡的现实。
- 离散度。 形态有多宽?基于巨大方差构建的、看似自信的平均值,不过是西装革履下的抛硬币游戏。
- 抽样误差。 样本量 n 有多大?估计值带有 sigma/sqrt(n) 的标准误,微小的样本意味着无论标题数字看起来多么精确,其置信区间都宽泛且不可靠。
- 坐标轴几何。 数值轴是否从零开始?数量是以长度还是面积编码的?被操纵的坐标轴会将舍入误差变成一场革命。
仪表盘提供的是表象,你提供的是怀疑。无论图表看起来多么精美,如果其坐标轴几何结构被操纵,或者样本量过小,它都理应受到质疑。
解读此仪表盘
一家初创公司的仪表盘宣称:本季度每用户平均收入(ARPU)大幅跃升。然而,小字注释显示:该平均值基于 n = 9 的用户样本,其中两户是规模巨大的企业客户;此外,柱状图的坐标轴起点设定为上一季度数值的 90%。
统计学的几何学:总结
你学到了什么
统计学是披着数字外衣的几何学:
- 均值是质心:数据的平衡点。偏度会将这个支点拉向长尾方向,因此右偏分布的均值大于中位数。中位数只计算位置,因此能抵抗这种拉力。
- 标准差是离散度:典型距离中心的距离,即形状的宽度。两个分布可以拥有相同的均值,但其数值散落的程度可能大相径庭。
- 抽样误差是 sigma/sqrt(n):抽样分布的宽度。它按 1/sqrt(n) 缩小,因此将误差减半需要四倍的样本量。精度是用平方根购买的。
- 坐标轴几何可能会撒谎:截断的坐标轴使长度与数值脱钩并陡峭化斜率;在二维中缩放图标会使面积按系数的平方增长,因此眼睛会将翻倍读取为四倍。
自动化仪表盘勾勒出数据的轮廓。专业人士负责解读:定位质心,衡量离散程度,权衡抽样误差,并对任何坐标轴几何结构被操纵的图表保持警惕。图表只是基础,判断力才是上限。