En fördelning är en form
Statistik har en geometri
Varje datamängd har en form. Plottar du värdena längs en talrad och staplar en stapel där de samlas, dyker en kontur upp: en knöla, en skev lutning, en lång svans. Statistik ger den formen koordinater.
Två landmärken lokaliserar formens centrum.
Medelvärdet är tyngdpunkten: balanspunkten. Tänk dig att varje datavärde är en lika tung vikt som ligger på en balansbrygga utlagd längs talraden. Medelvärdet är den enda vridpunkt där bryggan balanserar. Värden långt från centrum utövar hävning på exakt samma sätt som ett tungt barn långt ut på en balansbrygga gör: avstånd multiplicerat med vikt.
Mediana är medlet ur ett antalperspektiv: värdet med hälften av data under sig och hälften ovanför. Den bryr sig endast om ordning och antal, aldrig om hur långt bort ett värde ligger.
På en helt symmetrisk form sammanfaller vridpunkten och medlet: medelvärdet är lika med medianan. Bryt symmetrin och de separeras.
Skevhet är den brutna symmetrin. En högerskevhet har en lång svans som sträcker sig mot höga värden (ett par miljardärer i en inkomstdatamängd). Dessa långt borta vikter drar balanspunkten mot svansen, så medelvärdet hamnar till höger om medianan. En vänsterskevhet är spegelbilden av detta.
Det är därför ett medelhus hålls inkomst och ett medelvärdes inkomst skiljer sig åt: geometrin av en skev form drar centroiden bort från medlet ur ett antalperspektiv.
Vilket håll flyttar medelvärdet?
En stad rapporterar sina hushållsinkomster. De flesta familjerna tjänar mellan 40 000 och 90 000, men ett fåtal invånare tjänar flera miljoner. Inkomstfördelningen har en lång svans som når åt höger.
Hur långt från centrum är typiskt?
Spridning är ett avstånd
Centroiden (medelvärdet) berättar var formen balanseras. Den säger ingenting om hur bred formen är. Två datamängder kan ha exakt samma medelvärde men se helt olika ut: den ena är tätt packad kring centrum, medan den andra är utspridd brett.
Standardavvikelse (sigma) mäter spridning: den är, i praktiken, det typiska avståndet för ett värde från medelvärdet. Liten sigma innebär en smal, hög form som klänger sig om centrum. Stor sigma innebär en bred, platt form som når långt åt båda hållen.
Tänk på två bågskytteidrottare. Båda har i genomsnitt träffat precis i mitten: deras tyngdpunkt ligger på ögat. Skytt A grupperar alla pilar inom ett handbredd från mitten (liten sigma). Skytt B sprider pilar över hela målet, men missarna tar ut varandra så att medelvärdet fortfarande läses som mitten (stor sigma). Samma medelvärde, motsatt spridning. Medelvärdet ensam kan inte skilja dem åt; standardavvikelsen kan det.
Geometriskt sätter sigma den horisontella skalan för fördelningen. Sträck ut en form bredare utan att flytta dess balanspunkt och du har höjt sigma medan medelvärdet hålls konstantt. Det enskilda talet, formens bredd, är det som nästa idé bygger på.
Samma centrum, olika bredd
Två fabriker fyller var och en påsar med ett medelvikt på 500 gram. Fabrik A har en standardavvikelse på 4 gram. Fabrik B har en standardavvikelse på 20 gram.
En kund avvisar varje påse som ligger mer än 15 gram från 500.
Felet som krymper som 1 över rot n
Från data spridning till ett skattas spridning
Du mäter sällan en hel population. Du tar ett urval och beräknar dess medelvärde som en skattning. Tar du ett annat urval får du ett något annat medelvärde. Dessa urvalsmedelvärden har en egen form: urvalsfördelningen, centrerad kring det sanna medelvärdet.
Dess bredd har ett namn: standardfelet för medelvärdet.
SE = sigma / sqrt(n)
där sigma är spridningen för enskilda värden och n är stickprovet. Standardfelet är det typiska avståndet mellan ett stickprovsmedelvärde och det sanna medelvärdet: det är spridningen i din uppskattning, inte i rådatan.
Geometrin ligger i den kvadratroten. SE minskar som 1/sqrt(n), inte som 1/n. Att medelvärdesberäkna fler mätningar försmalar stickprovsfördelningen, men med minskande avkastning: varje ny observation ger mindre försmalning än den föregående.
Den raka konsekvensen: för att HALVERA standardfelet måste du FÖRDRA stickprovsstorleken. Att gå från n = 100 till n = 200 halverar inte ditt fel; du behöver n = 400. Präcision är dyr eftersom den skalar med kvadratroten.
Kurvorna ovan delar ett centrum och minskar i bredd när n stiger från 25 till 100 till 400, med sigma hållen vid 20. Läs av SE vid varje: 4, sedan 2, sedan 1.
Beräkna standardfelet
En population av testpoäng har standardavvikelse sigma = 20. Du drar ett stickprov med storlek n = 100 och beräknar dess medelvärde.
När axeln ljuger
Manipulerad geometri
En diagram är en geometrisk översättning: tal blir längder, ytor och lutningar som ögonet läser omedelbart. Manipulera översättningen och ögat rapporterar en lögn som datan aldrig sa.
Avhuggen axel. En stapeldiagram bör starta sin värdeaxel vid noll, så att stapelhöjden förblir proportionell mot värdet. Startar axeln vid, säg, 95 istället för 0, fylls ramen av en ökning från 100 till 102 (en faktisk förändring på 2 procent) som om den vore enorm. De plottade längderna matchar inte längre talens proportioner. I ett linjediagram gör samma trick varje lutning brantare: en mild stigning uppfattas som en klippa eftersom den vertikala skalan komprimerades till ett smalt fönster.
Lutningsinflation. Lutning är stigning över löp. Minska intervallet som axeln täcker (värdemängden den visar) medan pixelhöjden hålls konstant, och varje stigning ritas om brantare. Trenden har inte förändrats; endast ramen geometri har det.
Förvrängning av yta mot längd. För att visa att en kvantitet fördubblas, fördubblar ett ärligt diagram ENDAST EN dimension: en stapel som är dubbelt så hög. Ett oärligt skalar en ikon eller en cirkel i BÅDE bredd och höjd, så att ett 2x-värde blir en bild med 4x ytan. Ögat bedömer ytan, så en fördubbling ser ut som en fyrdubbling. Bubbelplottar missbrukar detta ständigt när de mappar värde till radie istället för till yta, eftersom ytan växer med radien i kvadrat.
Det professionella vanan: kontrollera var axeln börjar, kontrollera om längd eller yta kodar värdet, och omberäkna mentalt innan du litar på formen.
Diagnostisera förvrängningen
En instrumentpanel visar kvartalsintäkter som stiger från 100 till 104 miljoner. För att göra vinsten dramatisk börjar designern den vertikala axeln vid 98 istället för 0. En andra panel representerar samma 4-procentiga vinst genom att rita en pengapåse-ikon som skalar upp 4 procent i BÅDE bredd och höjd.
Formen, spridningen, felet, axeln
Att ta hem det
Automatiserade instrumentpanelar ritar formen åt dig. De renderar staplarna, anpassar kurvan och animerar trenden. Det de inte kan göra är att läsa geometrin med omdöme. Det är professionellens jobb.
En tränad läsare gör fyra kontroller på varje diagram:
- Centroid. Var balanserar formen, och drar en skevhet medelvärdet bort från medianen? Ett enskilt rapporterat medelvärde kan dölja en skev verklighet.
- Spridning. Hur bred är formen? Ett självklart medelvärde byggt på enorm varians är ett myntkast i kostym.
- Urvalsfel. Hur stor var n? Skattningen bär ett standardfel på sigma/sqrt(n), och ett litet urval innebär ett brett, opålitligt intervall oavsett hur tydligt huvudtalet ser ut.
- Axelgeometri. Börjar värdeaxeln vid noll? Är mängden kodad som längd eller som area? En manipulerad axel förvandlar ett avrundningsfel till en revolution.
Instrumentpanelen ger bilden. Du ger misstron. En graf vars axelgeometri är manipulerad, eller vars urval är för litet, väcker skepsis oavsett hur polerad den ser ut.
Läs denna instrumentpanel
Ett startups instrumentpanel hävdar: intäkterna per användare ÖKADE kraftigt i kvartalet. Det småskrivna: medelvärdet bygger på ett urval med n = 9 användare, varav två är enorma företagskonton, och stapelgrafens axel börjar vid 90 procent av föregående kvartals värde.
Statistikens geometri: Sammanfattning
Vad du har lärt dig
Statistik är geometri i kläder av siffror:
- Medelvärdet är en tyngdpunkt: datauppsättningens jämviktspunkt. Skevhet drar denna vridpunkt mot den långa svansen, så en höger-skävt fördelad form har medelvärde > median. Medianen räknar bara positioner, så den motstår draget.
- Standardavvikelse är spridning: det typiska avståndet från centrum, formens bredd. Två fördelningar kan dela ett medelvärde men skilja sig kraftigt i hur långt deras värden sprids.
- Stickfelet är sigma/sqrt(n): stickfördelningens bredd. Det minskar som 1/sqrt(n), så att halvera felet kräver en fyra gånger större sticka. Präcision köps med kvadratroten.
- Axelns geometri kan ljuga: en avhuggen axel kopplar längd och värde från varandra och brantare lutning; att skala en ikon i två dimensioner gör att arean växer med kvadraten på faktorn, så ögat läser en fördubbling som en fyrdubbling.
Automatiserade instrumentpanelar ritar formen. Facketolkar den: den lokaliserar medelvärdet, mäter spridningen, bedömer stickfelet och misströvar varje diagram vars axelgeometri är manipulerad. Bilden är golvet; omdömet är taket.