Una Distribuzione è una Forma
La Statistica ha una Geometria
Ogni insieme di dati ha una forma. Traccia i valori su una retta numerica e impila un'istogramma dove si raggruppano, e appare una sagoma: un rigonfiamento, una spinta asimmetrica, una lunga coda. La statistica fornisce coordinate a quella forma.
Due punti di riferimento individuano il centro della forma.
La media è il centroide: il punto di equilibrio. Immagina ogni valore dei dati come un peso uguale posizionato su una bilancia a leva disposta lungo la retta numerica. La media è l'unico fulcro dove la bilancia si equilibra. I valori lontani dal centro esercitano leva esattamente come un bambino pesante posizionato lontano sul bordo di una bilancia a leva: distanza per peso.
La mediana è il valore centrale per conteggio: il valore con metà dei dati sotto di esso e metà sopra. Si preoccupa solo dell'ordine e del conteggio, mai di quanto un valore sia distante.
Su una forma perfettamente simmetrica, il punto di equilibrio e il valore centrale coincidono: la media è uguale alla mediana. Rompi la simmetria e i due valori si separano.
L'asimmetria è quella simmetria rotta. Un'asimmetria a destra ha una lunga coda che si estende verso valori elevati (qualche miliardario in un dataset dei redditi). Quei pesi distanti tirano il punto di equilibrio verso la coda, quindi la media si posiziona a destra della mediana. Un'asimmetria a sinistra è l'immagine speculare.
Questo è il motivo per cui il reddito mediano delle famiglie e il reddito medio delle famiglie differiscono: la geometria di una forma sbilanciata trascina il baricentro lontano dal centro per conteggio.
In che direzione si sposta la media?
Un comune riporta i redditi delle sue famiglie. La maggior parte delle famiglie guadagna tra 40.000 e 90.000, ma un piccolo numero di residenti guadagna diversi milioni. La forma dei redditi ha una lunga coda che si estende verso destra.
Quanto è tipica la distanza dal centro?
La dispersione è una distanza
Il baricentro ti dice dove la forma si bilancia. Non dice nulla su quanto sia larga la forma. Due set di dati possono condividere una media identica eppure apparire completamente diversi: uno compatto attorno al centro, l'altro disperso in ampiezza.
La deviazione standard (sigma) misura la dispersione: è, di fatto, la distanza tipica di un valore dalla media. Una sigma piccola indica una forma stretta e alta che si avvicina al centro. Una sigma grande indica una forma ampia e piatta che si estende molto su entrambi i lati.
Considera due arcieri. Entrambi hanno una media centrata perfettamente: il loro baricentro si trova sul bersaglio. L'arciere A raggruppa ogni freccia entro la larghezza di una mano dal centro (sigma piccola). L'arciere B spara frecce su tutto il bersaglio, ma gli errori si compensano in modo che la media indichi ancora il centro (sigma grande). Stessa media, dispersione opposta. La media da sola non può distinguerli; la deviazione standard può.
Geometricamente, sigma stabilisce la scala orizzontale della distribuzione. Allargare una forma senza spostarne il punto di equilibrio significa aver aumentato sigma mantenendo fissa la media. Quel singolo numero, la larghezza della forma, è ciò su cui si basa il concetto successivo.
Stesso Centro, Larghezza Diversa
Due fabbriche riempiono ciascuna sacchetti con un peso medio di 500 grammi. La Fabbrica A ha una deviazione standard di 4 grammi. La Fabbrica B ha una deviazione standard di 20 grammi.
Un cliente rifiuta qualsiasi sacchetto che si discosti di più di 15 grammi da 500.
L'Errore che si Riduce come 1 Radice di n
Dalla Variabilità dei Dati alla Variabilità di una Stima
Raramente si misura un'intera popolazione. Si prende un campione e si calcola la sua media come stima. Si prende un campione diverso e si ottiene una media leggermente diversa. Quelle medie campionarie hanno una forma propria: la distribuzione di campionamento, centrata sulla media vera.
La sua ampiezza ha un nome: l'errore standard della media.
SE = sigma / sqrt(n)
dove sigma è la dispersione dei valori individuali e n è la dimensione del campione. L'errore standard è la distanza tipica tra una media campionaria e la media vera: è la dispersione della tua stima, non dei dati grezzi.
La geometria risiede in quella radice quadrata. SE diminuisce come 1/sqrt(n), non come 1/n. Mediare più misurazioni restringe la distribuzione campionaria, ma con rendimenti decrescenti: ogni nuova osservazione acquista meno restringimento rispetto alla precedente.
La conseguenza brutale: per RADDOPPIARE l'errore standard devi QUADRUPLORE la dimensione del campione. Passare da n = 100 a n = 200 non dimezza il tuo errore; ti serve n = 400. La precisione è costosa perché scala con la radice quadrata.
Le curve sopra condividono un unico centro e si restringono in ampiezza man mano che n sale da 25 a 100 a 400, con sigma mantenuto a 20. Leggi l'SE in ciascuno: 4, poi 2, poi 1.
Calcola l'Errore Standard
Una popolazione di punteggi di test ha deviazione standard sigma = 20. Estrai un campione di dimensione n = 100 e calcolane la media.
Quando l'asse mente
Geometria truccata
Un grafico è una traduzione geometrica: i numeri diventano lunghezze, aree e pendenze che l'occhio legge istantaneamente. Se si trucca la traduzione, l'occhio riporta una bugia che i dati non hanno mai raccontato.
Asse troncato. Un grafico a barre dovrebbe far partire l'asse dei valori da zero, in modo che l'altezza della barra rimanga proporzionale al valore. Se si fa partire l'asse, ad esempio, da 95 invece che da 0, un aumento da 100 a 102 (un cambiamento reale del 2 percento) riempie l'inquadratura come se fosse enorme. Le lunghezze tracciate non corrispondono più ai rapporti tra i numeri. In un grafico a linee, lo stesso trucco rende più ripide tutte le pendenze: una salita gentile viene letta come un dirupo perché la scala verticale è stata compressa in una finestra ristretta.
Inflazione della pendenza. La pendenza è l'incremento verticale diviso per l'incremento orizzontale. Se si riduce l'intervallo coperto dall'asse (l'ampiezza dei valori mostrati) mantenendo fissa l'altezza in pixel, ogni incremento viene ridisegnato più ripido. La tendenza non è cambiata; è cambiata solo la geometria dell'inquadratura.
Distorsione area-verso-lunghezza. Per mostrare una quantità che raddoppia, un grafico onesto raddoppia UNA dimensione: una barra due volte più alta. Uno disonesto scala un'icona o un cerchio sia in LARGHEZZA che in ALTEZZA, in modo che un valore 2x diventi un'immagine con un'area 4x. L'occhio giudica l'area, quindi un raddoppio sembra un quadruplicamento. I grafici a bolle abusano costantemente di questo quando mappano il valore sul raggio invece che sull'area, poiché l'area cresce come il quadrato del raggio.
L'abitudine professionale: verificare da dove parte l'asse, verificare se la lunghezza o l'area codifica il valore, e ricalcolare mentalmente la scala prima di fidarsi della forma.
Diagnostica la distorsione
Una dashboard mostra il ricavo trimestrale che sale da 100 a 104 milioni. Per far apparire il guadagno drammatico, il designer fa partire l'asse verticale da 98 invece che da 0. Un secondo pannello rappresenta lo stesso guadagno del 4 percento disegnando un'icona a forma di sacco di denaro ingrandita del 4 percento sia in larghezza che in altezza.
La forma, la dispersione, l'errore, l'asse
Portare a casa il concetto
Le dashboard automatizzate disegnano la forma per te. Rendono le barre, adattano la curva, animano la tendenza. Ciò che non possono fare è leggere la geometria con giudizio. Questo è il compito del professionista.
Un lettore formato esegue quattro verifiche su qualsiasi grafico:
- Baricentro. Dove si bilancia la forma e uno sbilanciamento sta trascinando la media lontano dalla mediana? Una singola media riportata può nascondere una realtà sbilanciata.
- Dispersione. Quanto è ampia la forma? Una media dall'aspetto sicuro costruita su una varianza enorme è come un lancio di moneta in abito da sera.
- Errore di campionamento. Quanto era grande n? La stima comporta un errore standard di sigma/sqrt(n), e un campione minuscolo significa un intervallo ampio e inaffidabile, per quanto nitido possa apparire il numero in evidenza.
- Geometria dell'asse. L'asse dei valori inizia da zero? La quantità è codificata come lunghezza o come area? Un asse manipolato trasforma un errore di arrotondamento in una rivoluzione.
La dashboard fornisce l'immagine. Tu fornisci lo scetticismo. Un grafico la cui geometria degli assi è manipolata, o il cui campione è troppo piccolo, merita scetticismo indipendentemente da quanto sia rifinito.
Leggi questa dashboard
La dashboard di una startup proclama: il ricavo medio per utente è AUMENTATO bruscamente questo trimestre. Il piccolo testo: la media proviene da un campione di n = 9 utenti, due dei quali sono enormi account enterprise, e l'asse del grafico a barre inizia al 90 percento del valore del trimestre precedente.
Geometria della Statistica: Riepilogo
Cosa hai imparato
La statistica è geometria che indossa i numeri:
- La media è un baricentro: il punto di equilibrio dei dati. L'asimmetria tira quel punto di pivoting verso la coda lunga, quindi una forma asimmetrica a destra ha media > mediana. La mediana conta solo le posizioni, quindi resiste a questa trazione.
- La deviazione standard è la dispersione: la distanza tipica dal centro, la larghezza della forma. Due distribuzioni possono condividere una media ma differire enormemente per quanto i loro valori si disperdono.
- L'errore di campionamento è sigma/sqrt(n): la larghezza della distribuzione di campionamento. Si riduce come 1/sqrt(n), quindi dimezzare il tuo errore costa un campione quattro volte più grande. La precisione si acquista con la radice quadrata.
- La geometria dell'asse può mentire: un asse troncato slega la lunghezza dal valore e ripida la pendenza; scalare un'icona in due dimensioni fa crescere l'area come il quadrato del fattore, quindi l'occhio legge un raddoppio come un quadruplicamento.
Le dashboard automatizzate tracciano la forma. Il professionista la interpreta: individuando il baricentro, valutando la dispersione, ponderando l'errore di campionamento e diffidando di qualsiasi grafico la cui geometria degli assi è manipolata. L'immagine è il pavimento; il giudizio è il soffitto.