Một Phân phối Là Một Hình dạng
Thống kê Có Một Hình học
Mọi tập dữ liệu đều có một hình dạng. Vẽ các giá trị dọc theo một trục số và chất chồng các thanh lên tại nơi chúng tập trung, một hình bóng sẽ hiện ra: một gò, một độ nghiêng lệch, một cái đuôi dài. Thống kê cung cấp các tọa độ cho hình dạng đó.
Hai mốc địa lý xác định vị trí trung tâm của hình dạng.
Trung bình là trọng tâm: điểm cân bằng. Hãy tưởng tượng mỗi giá trị dữ liệu là một trọng lượng bằng nhau đặt trên một cái bập bênh trải dọc theo trục số. Trung bình là điểm tựa duy nhất nơi cái bập bênh cân bằng. Các giá trị xa trung tâm tạo ra đòn bẩy đúng theo cách một đứa trẻ nặng ngồi xa trên bập bênh: khoảng cách nhân với trọng lượng.
Trung vị là giá trị ở vị trí giữa theo số lượng: giá trị có một nửa dữ liệu nằm bên dưới và một nửa nằm bên trên. Nó chỉ quan tâm đến thứ tự và số lượng, không bao giờ quan tâm đến việc một giá trị nằm xa bao nhiêu.
Trên một hình dạng đối xứng hoàn hảo, điểm xoay và điểm giữa trùng nhau: trung bình cộng bằng trung vị. Phá vỡ sự đối xứng và chúng tách ra.
Độ lệch chính là sự đối xứng bị phá vỡ đó. Một độ lệch phải có một đuôi dài kéo dài về phía các giá trị cao (một vài tỷ phú trong bộ dữ liệu thu nhập). Những trọng số ở xa đó kéo điểm cân bằng về phía đuôi, do đó trung bình cộng nằm bên phải của trung vị. Độ lệch trái làm hình ảnh gương của điều này.
This is why a median household income and a mean household income differ: the geometry of a lopsided shape pulls the centroid away from the count-middle.
Trung bình cộng di chuyển theo hướng nào?
Một thị trấn báo cáo thu nhập hộ gia đình của mình. Phần lớn các gia đình kiếm được từ 40.000 đến 90.000, nhưng một số ít cư dân kiếm được vài triệu. Hình dạng thu nhập có một đuôi dài vươn về phía bên phải.
Khoảng cách điển hình từ tâm là bao xa?
Độ phân tán là một khoảng cách
Trọng tâm cho bạn biết hình dạng cân bằng ở đâu. Nó không nói gì về độ rộng của hình dạng đó. Hai tập dữ liệu có thể có cùng một giá trị trung bình nhưng trông hoàn toàn khác nhau: một cái được xếp chặt chẽ quanh tâm, cái kia bị phân tán rộng ra.
Độ lệch chuẩn (sigma) đo mức độ phân tán: về bản chất, nó là khoảng cách điển hình của một giá trị so với trung bình. Sigma nhỏ nghĩa là hình dạng hẹp và cao, bám sát vào tâm. Sigma lớn nghĩa là hình dạng rộng và dẹt, vươn xa về cả hai phía.
Hãy xem xét hai cung thủ. Cả hai đều có điểm trung bình chụm vào tâm: trọng tâm của họ nằm ngay trên tâm bia. Cung thủ A nhóm tất cả các mũi tên trong phạm vi một bề rộng bàn tay tính từ tâm (sigma nhỏ). Cung thủ B bắn rải rác khắp bia, nhưng các mũi tên lệch bù trừ lẫn nhau nên điểm trung bình vẫn đọc là tâm (sigma lớn). Cùng một trung bình, nhưng mức độ phân tán đối lập. Chỉ riêng trung bình không thể phân biệt được họ; độ lệch chuẩn thì có thể.
Về mặt hình học, sigma thiết lập thang đo ngang của phân bố. Kéo giãn một hình dạng rộng hơn mà không di chuyển điểm cân bằng của nó, bạn đã làm tăng sigma trong khi giữ trung bình cố định. Con số duy nhất đó, bề rộng của hình dạng, là điều mà ý tưởng tiếp theo phụ thuộc vào.
Cùng Tâm, Khác Bề Rộng
Hai nhà máy mỗi nơi đóng gói các túi với trọng lượng trung bình 500 gram. Nhà máy A có độ lệch chuẩn là 4 gram. Nhà máy B có độ lệch chuẩn là 20 gram.
Một khách hàng từ chối bất kỳ túi nào lệch quá 15 gram so với 500 gram.
Sai số thu nhỏ như 1 trên căn n
Từ Độ Rộng của Dữ liệu đến Độ Rộng của Ước lượng
Bạn hiếm khi đo lường toàn bộ quần thể. Bạn lấy một mẫu và tính trung bình của nó như một ước lượng. Lấy một mẫu khác và bạn sẽ có một giá trị trung bình hơi khác. Các giá trị trung bình mẫu đó có hình dạng riêng của chúng: phân phối lấy mẫu, được đặt tâm tại giá trị trung bình thực.
Độ rộng của nó có một cái tên: sai số chuẩn của trung bình.
SE = sigma / sqrt(n)
trong đó sigma là độ phân tán của các giá trị riêng lẻ và n là kích thước mẫu. Sai số chuẩn là khoảng cách điển hình giữa trung bình mẫu và trung bình thực: nó là độ phân tán của ước lượng của bạn, chứ không phải của dữ liệu thô.
Hình học nằm ở trong căn bậc hai đó. SE giảm theo 1/sqrt(n), chứ không phải theo 1/n. Trung bình hóa nhiều phép đo hơn sẽ thu hẹp phân phối lấy mẫu, nhưng với lợi ích giảm dần: mỗi quan sát mới mang lại ít sự thu hẹp hơn so với lần trước.
Hệ quả thẳng thắn: để GIẢM NỬA sai số chuẩn, bạn phải NHÂN BỐN kích thước mẫu. Đi từ n = 100 đến n = 200 không làm sai số của bạn giảm một nửa; bạn cần n = 400. Độ chính xác là đắt đỏ vì nó tỷ lệ với căn bậc hai.
Các đường cong ở trên chia sẻ một tâm chung và thu hẹp về độ rộng khi n tăng từ 25 lên 100 rồi lên 400, với sigma được giữ ở mức 20. Đọc giá trị SE tại mỗi điểm: 4, sau đó là 2, rồi là 1.
Tính toán Sai số chuẩn
Một quần thể điểm kiểm tra có độ lệch chuẩn sigma = 20. Bạn lấy một mẫu có kích thước n = 100 và tính trung bình của nó.
Khi Trục Đồ Thị Nói Dối
Hình học bị bẻ cong
Một biểu đồ là sự chuyển đổi hình học: các con số trở thành độ dài, diện tích và độ dốc mà mắt đọc được ngay lập tức. Nếu bẻ cong sự chuyển đổi đó, mắt sẽ báo cáo một lời dối trá mà dữ liệu chưa bao giờ kể.
Trục bị cắt cụt. Biểu đồ cột nên bắt đầu trục giá trị từ số không, để chiều cao của cột luôn tỷ lệ thuận với giá trị. Nếu bắt đầu trục từ, ví dụ, 95 thay vì 0, một sự tăng từ 100 lên 102 (một thay đổi thực tế là 2 phần trăm) sẽ lấp đầy khung hình như thể nó là rất lớn. Các độ dài được vẽ không còn khớp với tỷ lệ của các con số. Trên biểu đồ đường, cùng một thủ thuật làm cho mọi độ dốc trở nên dốc hơn: một sự leo dốc nhẹ nhàng được đọc như một vách đá vì thang đo dọc bị nén vào một cửa sổ hẹp.
Phóng đại độ dốc. Độ dốc là độ tăng chia cho độ chạy. Thu hẹp phạm vi mà trục bao phủ (độ chạy của các giá trị nó hiển thị) trong khi giữ chiều cao pixel cố định, và mọi độ tăng sẽ được vẽ lại dốc hơn. Xu hướng không thay đổi; chỉ có hình học của khung hình thay đổi.
Biến dạng diện tích so với chiều dài. Để hiển thị một đại lượng tăng gấp đôi, một biểu đồ trung thực nhân đôi MỘT chiều: một cột cao gấp đôi. Một biểu đồ thiếu trung thực phóng to một biểu tượng hoặc một vòng tròn theo CẢ chiều rộng và chiều cao, khiến một giá trị gấp đôi trở thành một hình ảnh có diện tích gấp bốn lần. Mắt đánh giá diện tích, nên một sự tăng gấp đôi trông như một sự tăng gấp bốn. Các biểu đồ bong bóng lạm dụng điều này thường xuyên khi chúng ánh xạ giá trị đến bán kính thay vì đến diện tích, vì diện tích tăng theo bình phương của bán kính.
Thói quen của người chuyên nghiệp: kiểm tra nơi trục bắt đầu, kiểm tra xem chiều dài hay diện tích mã hóa giá trị, và tự điều chỉnh tỷ lệ trong đầu trước khi tin vào hình dạng.
Chẩn đoán sự biến dạng
Một bảng điều khiển (dashboard) cho thấy doanh thu hàng quý tăng từ 100 lên 104 triệu. Để làm cho mức tăng này trông ấn tượng hơn, nhà thiết kế bắt đầu trục dọc từ 98 thay vì 0. Một bảng thứ hai đại diện cho mức tăng 4 phần trăm tương tự bằng cách vẽ một biểu tượng túi tiền được phóng to 4 phần trăm về CẢ chiều rộng lẫn chiều cao.
Hình dạng, Sự phân bố, Sai số, Trục tọa độ
Đưa bài học vào thực tế
Các bảng điều khiển (dashboard) tự động sẽ vẽ hình dạng cho bạn. Chúng hiển thị các cột, khớp đường cong và tạo hiệu ứng động cho xu hướng. Điều chúng không thể làm được là đọc hiểu hình học đó với sự phán đoán. Đó là công việc của người chuyên nghiệp.
Một người đọc có kinh nghiệm sẽ thực hiện bốn bước kiểm tra trên bất kỳ biểu đồ nào:
- Trọng tâm. Hình dạng cân bằng ở đâu, và độ lệch (skew) có đang kéo giá trị trung bình (mean) ra xa giá trị trung vị (median) không? Một con số trung bình duy nhất được báo cáo có thể che giấu một thực tế mất cân đối.
- Độ phân bố (Spread). Hình dạng trải rộng đến mức nào? Một giá trị trung bình trông đầy tự tin nhưng được xây dựng trên phương sai (variance) khổng lồ chỉ là một cuộc tung đồng xu trong bộ vest.
- Sai số lấy mẫu. Kích thước mẫu n là bao nhiêu? Ước lượng mang theo sai số chuẩn là sigma/sqrt(n), và một mẫu nhỏ đồng nghĩa với một khoảng tin cậy rộng, không đáng tin cậy, bất kể con số tiêu đề trông có sắc nét đến đâu.
- Hình học trục tọa độ. Trục giá trị có bắt đầu từ số 0 không? Đại lượng được mã hóa bằng độ dài hay bằng diện tích? Một trục tọa độ bị thao túng có thể biến một sai số làm tròn thành một cuộc cách mạng.
Bảng điều khiển cung cấp bức tranh. Bạn cung cấp sự hoài nghi. Một biểu đồ có hình học trục bị thao túng, hoặc có mẫu quá nhỏ, sẽ đáng bị hoài nghi bất kể nó trông có bóng bẩy đến đâu.
Đọc Bảng Điều Khiển Này
Bảng điều khiển của một công ty khởi nghiệp tuyên bố: doanh thu trung bình trên mỗi người dùng ĐÃ TĂNG VƯƠN trong quý này. Dòng chữ nhỏ: con số trung bình này được lấy từ mẫu gồm n = 9 người dùng, trong đó hai người là các tài khoản doanh nghiệp khổng lồ, và trục của biểu đồ cột bắt đầu ở mức 90 phần trăm so với giá trị của quý trước.
Hình học của Thống kê: Tóm tắt
Những gì bạn đã học
Thống kê là hình học khoác lên mình lớp áo của các con số:
- Trung bình cộng là trọng tâm (centroid): điểm cân bằng của dữ liệu. Độ lệch kéo điểm xoay này về phía đuôi dài, do đó hình dạng lệch phải có trung bình cộng > trung vị. Trung vị chỉ tính đến vị trí, nên nó chống lại lực kéo đó.
- Độ lệch chuẩn là độ phân tán: khoảng cách điển hình từ tâm, chiều rộng của hình dạng. Hai phân phối có thể cùng một trung bình cộng nhưng khác biệt rất lớn về mức độ phân tán của các giá trị.
- Sai số lấy mẫu là sigma/sqrt(n): chiều rộng của phân phối lấy mẫu. Nó thu hẹp theo 1/sqrt(n), do đó việc giảm một nửa sai số đòi hỏi mẫu lớn gấp bốn lần. Độ chính xác được mua bằng căn bậc hai.
- Hình học trục tọa độ có thể gây hiểu lầm: một trục bị cắt cụt (truncated axis) tách rời độ dài khỏi giá trị và làm dốc hơn độ dốc; việc phóng to một biểu tượng hai chiều làm diện tích tăng theo bình phương của hệ số, khiến mắt đọc sự nhân đôi thành sự nhân bốn.
Các bảng điều khiển tự động vẽ nên hình dáng. Người chuyên nghiệp đọc hiểu nó: xác định trọng tâm, đánh giá mức độ phân tán, cân nhắc sai số lấy mẫu, và không tin tưởng bất kỳ biểu đồ nào có hình học trục bị thao túng. Hình ảnh là nền tảng; phán đoán là giới hạn trên.