Розподіл — це форма
У статистики є геометрія
Кожен набір даних має форму. Якщо розмістити значення на числовій прямій і поставити стовпчик там, де вони згущуються, з’явиться силует: горб, асиметричний нахил, довгий хвіст. Статистика надає цій формі координати.
Дві віхи визначають центр форми.
Середнє — це центроїд: точка рівноваги. Уявіть, що кожне значення даних — це однакова вага, що лежить на дошці балансу, розташованій вздовж числової прямої. Середнє — це єдина точка опори, де дошка збалансована. Значення, віддалені від центру, створюють важільний ефект саме так, як важке дитя, що сидить далеко від центру на дошці балансу: відстань, помножена на вагу.
Медіана — це середина за кількістю: це значення, під яким лежить половина даних, а над ним — інша половина. Вона враховує лише порядок та кількість, а не те, наскільки далеко від центру розташоване значення.
У ідеально симетричному розподілі точка опори та середина збігаються: середнє арифметичне дорівнює медіані. Якщо симетрія порушена, вони розходяться.
Асиметрія — це та сама порушена симетрія. Правостороння асиметрія має довгий хвіст, що тягнеться до великих значень (наприклад, кілька мільярдерів у наборі даних про доходи). Ці віддалені значення «тягнуть» точку рівноваги до хвоста, тому середнє арифметичне розташоване праворуч від медіани. Ліворуч асиметрія діє дзеркально.
Саме тому медіанний дохід домогосподарства та середній арифметичний дохід домогосподарства відрізняються: геометрія несиметричного розподілу зміщує центроїд від середини за кількістю.
Куди зміщується середнє арифметичне?
Місто оприлюднює доходи своїх домогосподарств. Більшість родин заробляє від 40 000 до 90 000, але невелика група мешканців отримує кілька мільйонів. Розподіл доходів має довгий хвіст, що простягається праворуч.
Наскільки типово відхилення від центру?
Розсіювання — це відстань
Центроїда показує, де форма розподілу збалансована. Вона не дає жодної інформації про те, наскільки широка ця форма. Дві вибірки можуть мати абсолютно однакове середнє значення, але виглядати зовсім по-різному: одна щільно зосереджена навколо центру, інша ж розкидана широко.
Стандартне відхилення (сигма) вимірює розкид: воно є, по суті, типовою відстанню значення від середнього. Мала сигма означає вузьку, високу форму, що притискається до центру. Велика сигма означає широку, плоску форму, що простягається далеко в обидва боки.
Уявімо двох лучників. Обидва влучають у середньому в центр: їхній центроїд знаходиться на «яблуку». Лучник А збирає всі стріли в межах ширини долоні від центру (мала сигма). Лучник B розкидує стріли по всій мішені, але промахи компенсуються, тому середнє значення все одно вказує на центр (велика сигма). Одинакове середнє, протилежний розкид. Лише середнє значення не може їх відрізнити; стандартне відхилення може.
Геометрично сигма задає горизонтальний масштаб розподілу. Якщо розтягнути форму ширше, не зсуваючи її точку рівноваги, ви збільшите сигму, зберігши середнє значення незмінним. Саме ця одна цифра, ширина форми, є тим, на чому ґрунтується наступна ідея.
Одинаковий центр, різна ширина
Дві фабрики наповнюють мішки з середньою вагою 500 грамів. У фабрики А стандартне відхилення становить 4 грами. У фабрики B стандартне відхилення становить 20 грамів.
Клієнт відхиляє будь-який мішок, вага якого відрізняється від 500 грамів більше ніж на 15 грамів.
Помилка, що зменшується як 1 до кореня з n
Від розкиду даних до розкиду оцінки
Ви рідко вимірюєте всю популяцію. Ви берете вибірку та обчислюєте її середнє як оцінку. Якщо взяти іншу вибірку, ви отримаєте трохи інше середнє. Ці середні значення вибірки мають власну форму: розподіл вибірки, центроване навколо істинного середнього.
У нього є назва: стандартна похибка середнього.
SE = sigma / sqrt(n)
де sigma — це розкид окремих значень, а n — розмір вибірки. Стандартна похибка — це типова відстань між середнім значенням вибірки та істинним середнім: це розкид вашої оцінки, а не сирих даних.
Геометрія ховається в тому квадратному корені. SE зменшується як 1/sqrt(n), а не як 1/n. Середнє з більшої кількості вимірювань звужує розподіл вибірки, але з поступовим зниженням ефективності: кожне нове спостереження дає менше звуження, ніж попереднє.
Грубий наслідок: щоб ПОЛОВОЮ зменшити стандартну похибку, потрібно УЧОРІЖИТИ розмір вибірки. Перехід від n = 100 до n = 200 не зменшує вашу похибку вдвічі; вам потрібно n = 400. Точність є дорогою, оскільки вона масштабується за квадратним коренем.
Криві вище мають один центр і звужуються за шириною, коли n зростає від 25 до 100, а потім до 400, при фіксованому sigma, що дорівнює 20. Зчитайте SE для кожного випадку: 4, потім 2, потім 1.
Обчисліть стандартну похибку
Популяція тестових балів має стандартне відхилення sigma = 20. Ви обираєте вибірку розміром n = 100 та обчислюєте її середнє.
Коли вісь бреше
Спотворена геометрія
Діаграма — це геометричне перетворення: числа стають довжинами, площами та нахилами, які око читає миттєво. Якщо спотворити це перетворення, око повідомить про брехню, якої в даних ніколи не було.
Обрізана вісь. Стовпчикова діаграма повинна починати вісь значень з нуля, щоб висота стовпчика залишалася пропорційною значенню. Якщо почати вісь, наприклад, з 95 замість 0, зростання з 100 до 102 (реальна зміна на 2 відсотки) заповнить кадр так, ніби воно є величезним. Зображені довжини більше не відповідають співвідношенням чисел. На лінійній діаграмі той самий трюк робить кожен нахил крутішим: помірне зростання сприймається як обрив, оскільки вертикальний масштаб стиснуто в вузьке вікно.
Інфляція нахилу. Нахил — це відношення приросту до проміжку. Зменшіть діапазон, який охоплює вісь (проміжок значень, які вона показує), зберігши при цьому фіксовану висоту в пікселях, і кожен приріст буде перемальований крутішим. Тренд не змінився; змінилася лише геометрія рамки.
Спотворення площі та довжини. Щоб показати подвоєння величини, чесна діаграма подвоює ОДНУ вимірювальну одиницю: стовпчик удвічі вищий. Нечесна ж масштабує іконку або коло ЗАРАЗОМ за шириною та висотою, тому значення, подвоєне в 2 рази, перетворюється на зображення з площею, більшою в 4 рази. Око оцінює площу, тому подвоєння виглядає як учетверо. Пухирчасті діаграми постійно зловживають цим, коли вони відображають значення за радіусом замість площі, оскільки площа зростає пропорційно квадрату радіуса.
Професійний звичка: перевіряйте, де починається вісь, перевіряйте, чи довжина, чи площа кодує значення, і ментально перемасштабуйте зображення, перш ніж довіряти його формі.
Діагностуйте спотворення
На дашборді показано зростання квартального доходу з 100 до 104 мільйонів. Щоб зробити цей приріст виглядом драматичним, дизайнер починає вертикальну вісь з 98 замість 0. У другому панелі той самий 4-відсотковий приріст зображено іконкою грошового мішка, який збільшено на 4 відсотки ЗАРАЗЕМ і за шириною, і за висотою.
Форма, розкид, похибка, вісь
До практичного застосування
Автоматизовані дашборди самі будують форму. Вони відображають стовпчики, підбирають криву, анімують тренд. Але вони не здатні інтерпретувати геометрію з розумінням. Це завдання професіонала.
Навчений аналітик виконує чотири перевірки для будь-якого графіка:
- Центроїд. Де форма збалансована, і чи тягне асиметрія середнє значення від медіани? Одне опубліковане середнє може приховувати нерівномірну реальність.
- Розкид. Наскільки широка форма? Середнє значення, яке виглядає впевнено, але побудоване на величезній дисперсії, — це просто підкидання монети у костюмі.
- Похибка вибірки. Яким був n? Оцінка має стандартну похибку sigma/sqrt(n), і мала вибірка означає широкий, ненадійний інтервал, незалежно від того, наскільки чітко виглядає ключове число.
- Геометрія осі. Чи починається вісь значень з нуля? Чи кількість закодована як довжина, чи як площа? Спотворена вісь перетворює помилку округлення на революцію.
Дашборд надає картинку. Ви надаєте скептицизм. Графік, у якого геометрія осей спотворена, або занадто мала вибірка, викликає сумніви, незалежно від того, наскільки він виглядає доглянутим.
Прочитайте цей дашборд
Дашборд стартапу стверджує: середній дохід на користувача РАПТОМ ЗРОСЛИСЬ у цьому кварталі. Дрібний шрифт: середнє значення обчислено на основі вибірки з n = 9 користувачів, двома з яких є величезні корпоративні акаунти, а вісь стовпчикової діаграми починається зі значення 90% від показника минулого кварталу.
Геометрія статистики: Підсумок
Що ви навчилися
Статистика — це геометрія, яка носить числа:
- Середнє — це центроїд: точка рівноваги даних. Асиметрія тягне цю точку обертання до довгого хвоста, тому правостороння асиметрична форма має середнє > медіани. Медіана враховує лише позиції, тому вона чинить опір цьому впливу.
- Стандартне відхилення — це розкид: типова відстань від центру, ширина форми. Дві розподіли можуть мати одне й те саме середнє, але значно відрізнятися тим, наскільки далеко розкидані їхні значення.
- Вибіркова помилка — це sigma/sqrt(n): ширина вибіркового розподілу. Вона зменшується як 1/sqrt(n), тому, щоб зменшити помилку вдвічі, потрібно збільшити вибірку у чотири рази. Точність купується квадратним коренем.
- Геометрія осі може брехати: обрізана вісь розриває зв'язок між довжиною та значенням і покручує нахил; масштабування іконки в двох вимірах збільшує площу як квадрат коефіцієнта, тому око сприймає подвоєння як учетвероення.
Автоматизовані дашборди малюють форму. Професіонал читає її: визначає центроїд, оцінює розкид, зважує вибіркове помилку та не довіряє жодному графіку, геометрія осей якого спотворена. Зображення — це підлога; судження — стеля.