Rozkład to kształt
Statystyka ma wymiar geometryczny
Każdy zbiór danych ma swój kształt. Jeśli naniesiesz wartości na oś liczb i w miejscach ich skupienia wzniesiesz słupki, pojawi się sylwetka: wybrzuszenie, asymetryczny pochylenie lub długi ogon. Statystyka nadaje temu kształtowi współrzędne.
Dwa punkty odniesienia wyznaczają środek kształtu.
Średnia to środek ciężkości: punkt równowagi. Wyobraź sobie, że każda wartość danych to równoważna ciężar leżący na belce równoważnej ułożonej wzdłuż osi liczb. Średnia to jedyny punkt podparcia, w którym belka się równoważy. Wartości oddalone od środka wywierają dźwignię dokładnie tak, jak ciężkie dziecko siedzące daleko na końcu belki: odległość pomnożona przez wagę.
Mediana to środek według liczby: wartość, pod którą znajduje się połowa danych, a nad nią druga połowa. Zależy wyłącznie od kolejności i liczby elementów, nigdy od tego, jak daleko od środka leży dana wartość.
W przypadku idealnie symetrycznego rozkładu punkt obrotu i środek liczbowy zbiegają się: średnia jest równa medianie. Złamanie symetrii powoduje, że się rozchodzą.
Asymetria to właśnie to złamanie symetrii. Asymetria prawostronna charakteryzuje się długim ogonem sięgającym w stronę wysokich wartości (np. kilku miliarderów w zbiorze danych o dochodach). Te daleko odległe wartości przyciągają punkt równowagi w stronę ogona, dlatego średnia leży po prawej stronie mediany. Asymetria lewostonna jest jej lustrzanym odbiciem.
Dlatego mediana dochodu gospodarstwa domowego różni się od średniego dochodu gospodarstwa domowego: geometria nierównomiernego rozkładu przesuwa centroid (środek ciężkości) z dala od środka liczbowego.
W którą stronę przesuwa się średnia?
Miasto raportuje dochody swoich gospodarstw domowych. Większość rodzin zarabia między 40 000 a 90 000, ale kilku mieszkańców zarabia kilka milionów. Rozkład dochodów ma długi ogon sięgający w prawo.
Jak daleko od środka leży typowa wartość?
Rozproszenie to odległość
Centroid wskazuje, w którym miejscu rozkład się równoważy. Nie mówi nic o tym, jak szeroki jest ten rozkład. Dwa zbiory danych mogą mieć identyczną średnią, a wyglądać zupełnie inaczej: jeden skupiony ciasno wokół środka, drugi rozrzucony szeroko.
Odchylenie standardowe (sigma) mierzy rozrzut: jest ono, w istocie, typową odległością wartości od średniej. Małe sigma oznacza wąski, wysoki kształt przylegający do środka. Duże sigma oznacza szeroki, płaski kształt sięgający daleko po obu stronach.
Rozważmy dwóch łuczników. Oboje trafiają w środek tarczy: ich środek ciężkości znajduje się na byku. Łucznik A trafia każdą strzałą w obrębie szerokości dłoni od środka (małe sigma). Łucznik B rozrzuca strzały po całej tarczy, jednak pomyłki się znoszą, więc średnia nadal wskazuje środek (duże sigma). Ta sama średnia, przeciwny rozrzut. Sama średnia nie pozwala ich odróżnić; odchylenie standardowe tak.
Geometrycznie sigma wyznacza skalę poziomą rozkładu. Rozciągnięcie kształtu na boki bez przemieszczania jego punktu równowagi oznacza podniesienie sigma przy zachowaniu średniej bez zmian. Ta pojedyncza liczba, szerokość kształtu, jest tym, na czym opiera się kolejny pomysł.
Ten sam środek, różna szerokość
Dwie fabryki napełniają worki o średniej wadze 500 gramów. Fabryka A ma odchylenie standardowe wynoszące 4 gramy. Fabryka B ma odchylenie standardowe wynoszące 20 gramów.
Klient odrzuca każdy worek, którego waga odbiega od 500 gramów o więcej niż 15 gramów.
Błąd, który maleje jak 1 do potęgi pierwiastka z n
Od rozpraszania danych do rozpraszania szacunku
Rzadko mierzysz całą populację. Pobierasz próbkę i obliczasz jej średnią jako szacunek. Pobierz inną próbkę, a otrzymasz nieco inną średnią. Te średnie próbek mają własny kształt: rozkład próbkowania, wyśrodkowany na prawdziwej średniej.
Jego szerokość ma nazwę: błąd standardowy średniej.
SE = sigma / sqrt(n)
gdzie sigma to rozprzestrzenienie pojedynczych wartości, a n to rozmiar próby. Błąd standardowy to typowa odległość między średnią próby a średnią rzeczywistą: to rozprzestrzenienie Twojej estymacji, a nie surowych danych.
Geometria kryje się w tym pierwiastku. SE maleje jak 1/sqrt(n), a nie jak 1/n. Średniowanie większej liczby pomiarów zawęża rozkład próbkowy, ale z malejącymi korzyściami: każda nowa obserwacja daje mniejsze zawężenie niż poprzednia.
Bezpośredni skutek: aby ZMIEJSZYĆ błąd standardowy o POŁOWĘ, musisz CZTEROKROTNIE zwiększyć rozmiar próby. Przejście z n = 100 do n = 200 nie zmniejsza błędu o połowę; potrzebujesz n = 400. Precyzja jest kosztowna, ponieważ skaluje się z pierwiastkiem.
Krzywe powyżej mają wspólny środek i zmniejszają swoją szerokość, gdy n rośnie z 25 do 100, a następnie do 400, przy stałym sigma równym 20. Odczytaj SE dla każdego przypadku: 4, następnie 2, a następnie 1.
Oblicz błąd standardowy
Populacja wyników testowych ma odchylenie standardowe sigma = 20. Pobierasz próbę o rozmiarze n = 100 i obliczasz jej średnią.
Gdy oś kłamie
Zmanipulowana geometria
Wykres to geometryczne przekształcenie: liczby stają się długościami, powierzchniami i nachyleniami, które oko odczytuje natychmiast. Jeśli zmanipulujesz to przekształcenie, oko zgłosi kłamstwo, którego dane nigdy nie wypowiedziały.
Przycięta oś. Wykres słupkowy powinien zaczynać oś wartości od zera, aby wysokość słupka pozostawała proporcjonalna do wartości. Jeśli oś zacznie się, powiedzmy, od 95 zamiast od 0, wzrost z 100 do 102 (rzeczywista zmiana o 2 procent) wypełni kadr tak, jakby był ogromny. Zarysowane długości nie odpowiadają już proporcjom liczb. Na wykresie liniowym ten sam trik stromi każdy nachylenie: łagodne wzniesienie wygląda jak urwisty klif, ponieważ pionowa skala została skompresowana do wąskiego okna.
Nadmuchanie nachylenia. Nachylenie to przyrost w pionie do przyrostu w poziomie. Jeśli zmniejszysz zakres wartości, który oś obejmuje (poziomy przyrost wartości, które pokazuje), utrzymując jednocześnie stałą wysokość w pikselach, każdy przyrost w pionie zostanie narysowany stromiej. Trend się nie zmienił; zmieniła się tylko geometria ramki.
Zniekształcenie powierzchni względem długości. Aby pokazać podwojenie wielkości, uczciwy wykres podwaja JEDNĄ wymiar: słupek dwa razy wyższy. Nieuczciwy skaluje ikonę lub koło w OBIECH szerokości i wysokości, więc wartość 2x staje się obrazem o 4x większej powierzchni. Oko ocenia powierzchnię, więc podwojenie wygląda jak czterokrotne zwiększenie. Wykresy bąbelkowe stale nadużywają tego, gdy mapują wartość na promień zamiast na powierzchnię, ponieważ powierzchnia rośnie kwadratowo z promieniem.
Zawodowy nawyk: sprawdź, od czego zaczyna się oś, sprawdź, czy długość, czy powierzchnia koduje wartość, i mentalnie przelicz skalę, zanim zaufasz kształtowi.
Zdiagnozuj zniekształcenie
Pulpit wyświetla kwartalne przychody rosnące z 100 do 104 milionów. Aby zysk wyglądał dramatycznie, projektant zaczyna oś pionową od 98 zamiast od 0. Drugi panel przedstawia ten sam 4-procentowy wzrost, rysując ikonę worka z pieniędzmi powiększoną o 4 procent zarówno w szerokości, jak i w wysokości.
Kształt, rozrzut, błąd, oś
Zastosowanie w praktyce
Automatyczne pulpity nawigacyjne rysują kształt za Ciebie. Renderują słupki, dopasowują krzywą, animują trend. Czego nie potrafią zrobić, to interpretować geometrii z roztropnością. To jest zadaniem profesjonalisty.
Szkolony interpretator wykonuje cztery kontrole na dowolnym wykresie:
- Centroid. Gdzie kształt się równoważy i czy skośność nie odciąga średniej od mediany? Jedno zgłoszone średnie może ukryć jednostronną rzeczywistość.
- Rozrzut. Jak szeroki jest kształt? Wyglądające na pewne średnie oparte na ogromnej wariancji to rzut monetą w garniturze.
- Błąd próbkowania. Jak duża była n? Szacunek niesie błąd standardowy sigma/sqrt(n), a mała próbka oznacza szeroki, niegodny zaufania przedział, niezależnie od tego, jak wyraźny wygląda nagłówkowy wynik.
- Geometria osi. Czy oś wartości zaczyna się od zera? Czy wielkość jest kodowana jako długość czy jako pole? Sfałszowana oś zamienia błąd zaokrąglenia w rewolucję.
Pulpit dostarcza obrazu. Ty dostarczasz niedowierzania. Wykres, którego geometria osi jest zmanipulowana, lub którego próba jest zbyt mała, budzi sceptycyzm, niezależnie od tego, jak dopracowany wygląda.
Przeczytaj ten pulpit
Pulpit startupu głosi: średnia przychód na użytkownika WYSTRZELIŁ w tym kwartale. Drobny drukiem: średnia pochodzi z próby n = 9 użytkowników, z których dwóch to ogromne konta korporacyjne, a oś wykresu słupkowego zaczyna się od 90 procent wartości z poprzedniego kwartału.
Geometria Statystyki: Podsumowanie
Czego się nauczyłeś
Statystyka to geometria ubrana w liczby:
- Średnia to centroid: punkt równowagi danych. Asymetria przesuwa ten punkt obrotu w stronę długiego ogona, dlatego rozkład prawoskośny ma średnią większą niż mediana. Mediana bierze pod uwagę tylko pozycje, więc opiera się temu przesunięciu.
- Odchylenie standardowe to rozrzut: typowa odległość od środka, szerokość kształtu. Dwa rozkłady mogą mieć tę samą średnią, a jednocześnie diametralnie różnić się tym, jak daleko rozrzucone są ich wartości.
- Błąd próbkowania to sigma/sqrt(n): szerokość rozkładu próbkowego. Zmniejsza się jak 1/sqrt(n), więc zmniejszenie błędu o połowę wymaga czterokrotnie większej próby. Precyzję kupuje się za pomocą pierwiastka kwadratowego.
- Geometria osi może kłamać: ucięta oś odczepia długość od wartości i stromi nachylenie; skalowanie ikony w dwóch wymiarach zwiększa pole jako kwadrat współczynnika, więc oko odczytuje podwojenie jako czterokrotne zwiększenie.
Zautomatyzowane tablice rysują kształt. Specjalista go interpretuje: lokalizuje środek ciężkości, ocenia rozrzut, waży błąd próbkowania i nie ufa żadnemu wykresowi, którego geometria osi jest zmanipulowana. Obraz to podłoga; osąd to sufit.