Насколько типичное значение отклоняется от центра?

Разброс — это расстояние

Центроид показывает, где форма распределения находится в равновесии. Он не говорит ничего о том, насколько широка эта форма. Два набора данных могут иметь абсолютно одинаковое среднее значение, но выглядеть совершенно по-разному: один плотно сгруппирован вокруг центра, а другой сильно разбросан.

Стандартное отклонение (сигма) измеряет разброс: по сути, это типичное расстояние значения от среднего. Малая сигма означает узкую, высокую форму, плотно прилегающую к центру. Большая сигма означает широкую, плоскую форму, простирающуюся далеко в обе стороны.

Рассмотрим двух стрелков. Оба в среднем попадают точно в центр: их центроид находится на «яблочко». Стрелок А группирует все стрелки в пределах ширины ладони от центра (малая сигма). Стрелок Б разбрасывает стрелки по всему мишени, но промахи компенсируются так, что среднее значение по-прежнему указывает на центр (большая сигма). Одинаковое среднее, противоположный разброс. По одному среднему значению их невозможно различить; стандартное отклонение позволяет это сделать.

Геометрически сигма задает горизонтальный масштаб распределения. Если растянуть форму в ширину, не перемещая ее точку равновесия, вы увеличите сигму, сохранив среднее значение неизменным. Эта единственная величина, ширина формы, является основой для следующей идеи.

Одинаковый центр, разная ширина

Два завода каждый фасуют мешки со средним весом 500 граммов. У завода А стандартное отклонение составляет 4 грамма. У завода Б стандартное отклонение составляет 20 граммов.

Покупатель отклоняет любой мешок, вес которого отличается от 500 граммов более чем на 15 граммов.

Ошибка, которая уменьшается как 1 на корень из n

От разброса данных к разбросу оценки

Вы редко измеряете всю популяцию. Вы берете выборку и вычисляете ее среднее значение в качестве оценки. Возьмите другую выборку, и вы получите немного другое среднее значение. Эти средние значения выборки имеют собственную форму: распределение выборки, центрированное на истинном среднем значении.

У его ширины есть название: стандартная ошибка среднего.

SE = sigma / sqrt(n)

где sigma — это разброс отдельных значений, а n — размер выборки. Стандартная ошибка — это типичное расстояние между средним значением выборки и истинным средним: это разброс вашей оценки, а не исходных данных.

Геометрия кроется в этом квадратном корне. SE уменьшается как 1/sqrt(n), а не как 1/n. Увеличение числа измерений сужает выборочное распределение, но с убывающей отдачей: каждое новое наблюдение дает меньшее сужение, чем предыдущее.

Простое следствие: чтобы УМЕНЬШИТЬ стандартную ошибку ВДВОЕ, нужно УВЕЛИЧИТЬ размер выборки ВЧЕТЫРЕ. Переход от n = 100 к n = 200 не уменьшает вашу ошибку вдвое; вам нужно n = 400. Точность дорога, потому что она масштабируется по квадратному корню.

Кривые выше имеют один общий центр и сужаются по мере роста n от 25 до 100 и до 400, при этом sigma остается равным 20. Считайте SE для каждого случая: 4, затем 2, затем 1.

Вычисление стандартной ошибки

У совокупности результатов тестов стандартное отклонение sigma = 20. Вы выбираете выборку размера n = 100 и вычисляете её среднее значение.

Когда ось лжёт

Сфальсифицированная геометрия

Диаграмма — это геометрический перевод: числа превращаются в длины, площади и углы наклона, которые глаз считывает мгновенно. Если исказить этот перевод, глаз сообщит о лжи, которой в данных никогда не было.

Обрезанная ось. Ось значений в столбчатой диаграмме должна начинаться с нуля, чтобы высота столбца оставалась пропорциональна значению. Если начать ось, например, со 100 вместо 0, рост с 100 до 102 (реальное изменение на 2 процента) заполнит кадр так, будто оно огромно. Изображённые длины больше не соответствуют соотношениям чисел. На линейной диаграмме тот же трюк делает каждый наклон круче: плавный подъём воспринимается как обрыв, потому что вертикальный масштаб был сжат в узкое окно.

Инфляция наклона. Наклон — это отношение прироста к проходу. Если сузить диапазон значений, который охватывает ось (проход значений, которые она показывает), сохранив при этом фиксированную высоту в пикселях, каждый прирост будет перерисован более крутым. Тренд не изменился; изменилась только геометрия рамки.

Искажение площади относительно длины. Чтобы показать удвоение величины, честная диаграмма удваивает ОДНО измерение: столбец вдвое выше. Нечестная масштабирует иконку или круг по ОБЕИМ ширине и высоте, так что значение 2x превращается в изображение с площадью в 4 раза больше. Глаз оценивает площадь, поэтому удвоение выглядит как учетверение. Пузырьковые диаграммы постоянно злоупотребляют этим, когда они отображают значение по радиусу, а не по площади, поскольку площадь растёт как квадрат радиуса.

Профессиональная привычка: проверять, с чего начинается ось, проверять, кодирует ли значение длину или площадь, и мысленно перемасштабировать перед тем, как доверять форме.

Диагностика искажения

На дашборде показан рост квартальной выручки с 100 до 104 миллионов. Чтобы сделать этот прирост драматичным, дизайнер начинает вертикальную ось с 98, а не с 0. На второй панели тот же рост на 4 процента представлен иконкой мешка с деньгами, увеличенной на 4 процента по ШИРИНЕ и ВЫСОТЕ.

Форма, разброс, ошибка, ось

К практическому применению

Автоматические дашборды сами рисуют форму. Они отрисовывают столбцы, подгоняют кривую, анимируют тренд. Но они не способны интерпретировать геометрию с критическим суждением. Это задача профессионала.

Опытный аналитик проводит четыре проверки для любого графика:

- Центроид. Где находится точка равновесия формы, и не смещает ли асимметрия среднее значение от медианы? Одно лишь сообщенное среднее может скрывать несбалансированную реальность.

- Разброс. Насколько широка форма? Уверенно выглядящее среднее, построенное на огромной дисперсии, — это подбрасывание монеты в костюме.

- Ошибка выборки. Каков размер n? Оценка несет стандартную ошибку sigma/sqrt(n), и малый объем выборки означает широкий, ненадежный интервал, каким бы точным ни выглядело число в заголовке.

- Геометрия оси. Начинается ли ось значений с нуля? Кодировано ли количество как длина или как площадь? Сфабрикованная ось превращает ошибку округления в революцию.

Дашборд предоставляет картину. Вы предоставляете недоверие. График, у которого искажена геометрия осей или который основан на слишком малой выборке, вызывает скепсис, каким бы отполированным он ни выглядел.

Прочитайте этот дашборд

Дашборд стартапа провозглашает: средняя выручка на пользователя ВЗЛЕТЕЛА в этом квартале. Мелкий шрифт: среднее значение рассчитано по выборке из n = 9 пользователей, двое из которых — огромные корпоративные клиенты, а ось столбчатой диаграммы начинается с 90 процентов от значения прошлого квартала.

Геометрия статистики: краткое изложение

Что вы узнали

Статистика — это геометрия, облаченная в числа:

- Среднее — это центроид: точка равновесия данных. Асимметрия смещает эту точку в сторону длинного хвоста, поэтому в случае правосторонней асимметрии среднее значение больше медианы. Медиана учитывает только позиции, поэтому она устойчива к такому смещению.

- Стандартное отклонение — это разброс: типичное расстояние от центра, ширина формы. Два распределения могут иметь одинаковое среднее значение, но сильно различаться по тому, насколько далеко разбросаны их значения.

- Ошибка выборки равна sigma/sqrt(n): ширина выборочного распределения. Она уменьшается пропорционально 1/sqrt(n), поэтому, чтобы вдвое сократить ошибку, нужно вчетверо увеличить выборку. Точность достигается через квадратный корень.

- Геометрия осей может обманывать: усеченная ось разрывает связь между длиной и значением, делая наклон более крутым; масштабирование иконки в двух измерениях увеличивает площадь как квадрат коэффициента, поэтому глаз воспринимает удвоение как учетверение.

Автоматические дашборды рисуют форму. Профессионал её интерпретирует: находит центроид, оценивает разброс, учитывает ошибку выборки и не доверяет любой диаграмме, в которой геометрия осей искажена. Изображение — это фундамент, а суждение — потолок.