측정은 점이 아닌 영역이다

실제 방위는 불분명하다

깔끔한 교차점은 각 방위각이 완벽한 선이라고 가정했습니다. 실제 계측기는 완벽하지 않습니다. 나침반의 045도라는 읽기 값은 실제로 "045도 주변의 좁은 쐐기형 영역 어딘가"를 의미합니다. 측정은 점이 아닙니다. 그것은 영역입니다: 구간, 오차 막대, 또는 참값이 그럴듯하게 존재할 수 있는 신뢰 영역을 나타내는 것입니다.

두 개의 독립적인 측정이 각각 영역을 포함할 때, 참값은 그럴듯하게 두 영역이 겹치는 곳에, 즉 교차점에 존재합니다. 두 개의 흐릿한 쐐기형 영역의 교차점은 개별 쐐기형 영역보다 작으므로, 독립적인 측정들을 결합하면 불확실성이 줄어듭니다. 이는 두꺼운 선으로 하는 삼각 측량과 같습니다: 흐릿한 방위각이라도 교차하면 참값을 작은 영역 안에 가둘 수 있습니다.

경고 신호

오차 영역이 전혀 없는 단일한 확신 있는 숫자로 보고된 주장은 경고 신호입니다. 영역이 없으면 정밀한 측정과 무모한 추측을 구별할 수 없습니다: 둘 다 맨 숫자로 보입니다. 정직한 추정치는 그 불확실성을 함께 포함합니다. 오차 막대가 없는 숫자는 그것이 얼마나 모르는지를 숨기고 있습니다.

독립성이 중요합니다. 동일한 결함을 공유하는 두 측정은 더 작은 참값으로 교차하지 않습니다; 그들은 동일한 오차에 동의합니다. 영역은 진정으로 별개의 방법론에서 나와야 합니다.

왜 겹침이 맨 숫자보다 나은가

두 개의 독립적인 실험실이 동일한 양을 추정합니다. 실험실 1은 오차 영역과 함께 값을 보고하고, 실험실 2는 완전히 다른 방법을 사용하여 자체 오차 영역과 함께 자체 값을 보고합니다. 두 영역은 부분적으로 겹칩니다.

군집을 신뢰하고, 이상치를 의심하라

독립적 추정치의 군집화

여러 독립적인 출처에게 동일한 양에 대해 물어서 그들의 답변을 직선 위에 플롯해 보세요. 추정치가 밀집(분산이 작음)되어 있을 때, 군집의 중심을 신뢰할 수 있습니다: 여러 독립적인 경로가 거의 동일한 곳에 도달했기 때문이며, 이는 우연히 위조하기 어렵습니다.

다른 모든 값들과 멀리 떨어져 있는 단 하나의 자신감 있는 답은 고립된 이상치입니다. 이는 돌파구가 될 수도 있지만, 훨씬 더 자주 그것은 오류, 다른 질문에 대한 답변, 또는 단순히 잘못된 출처입니다. 수렴(convergence)과 일치하지 않기 때문에, 이상치는 신뢰가 아니라 검토를 받아야 합니다.

평균화는 분산을 줄입니다

독립적인 추정치의 군집(cluster)이 그 중 어떤 하나보다 더 나은 이유는 무엇일까요? 왜냐하면 평균화는 독립적인 노이즈를 상쇄하기 때문입니다. 단일 측정값의 표준편차(분산의 정도)가 sigma라면, n개의 독립적인 측정값의 평균은 다음과 같은 표준편차를 가집니다:

sigma / sqrt(n)

분산(variance)은 1/n처럼, 표준편차는 1/sqrt(n)처럼 감소합니다. 4개의 독립적인 측정값은 분산의 정도를 절반으로 줄입니다 (sqrt(4) = 2). 100개의 측정값은 이를 10분의 1로 줄입니다 (sqrt(100) = 10). 독립적인 관측이 많을수록 노이즈는 적어지고, 진실에 대한 군집은 더 조밀해집니다.

평균화는 얼마나 도움이 될까?

어떤 계기기가 무작위적이고 독립적인 노이즈를 포함하여 고정된 양을 측정합니다. 단일 측정값의 표준편차는 10 단위입니다. 편향(bias)은 없습니다: 측정값들은 참값(true value) 주위로 대칭적으로 흩어져 있습니다.

진실된 방향에 대한 투영

신호는 방향이며, 노이즈는 모든 방향으로 향한다

각 측정값을 화살표로 상상해 보세요. 모든 화살표는 신호(진실된 값으로, 하나의 고정된 방향을 가리킴)와 매번 다른 무작위 방향을 가리키는 노이즈 화살표의 합입니다. 단일 측정값은 신호와 하나의 무작위 충격의 합입니다: 어느 부분이 신호이고 어느 부분이 노이즈인지 구별할 수 없습니다.

독립적인 측정을 많이 평균화하면, 모두 같은 방향을 가리키는 신호 화살표는 합산됩니다. 반면, 제각각 다른 방향을 가리키는 노이즈 화살표는 대부분 상쇄됩니다. 살아남는 것은 참된 방향에 대한 투사(projection)입니다: 신호는 n에 비례하여 성장하는 반면, 노이즈는 sqrt(n)에 비례하여만 성장하므로, 신호 대 노이즈 비율은 sqrt(n)에 비례하여 개선됩니다. 이는 다른 관점에서의 1/sqrt(n) 법칙과 동일한 것입니다.

이것이 바로 독립성이 모든 것을 결정하는 이유입니다. 노이즈 화살표가 모두 같은 방향을 가리킨다면(서로를 복제하는 소스, 공유된 편향 등), 그것들은 상쇄되지 않고 신호처럼 합산됩니다. 하나의 소스에 대한 열 개의 복본은 여전히 하나의 방위(bearing)에 불과합니다. 오직 진정으로 독립적인 관측만이 노이즈를 평균화하여 없앨 수 있습니다.

따라서 전체 툴킷은 하나의 기하학적 그림입니다: 독립적인 방위들은 교차하여 진실을 지시하고, 독립적인 오차 영역은 더 작은 영역으로 겹쳐지며, 독립적인 측정은 노이즈를 평균화하여 제로로 수렴시킵니다. 검증(Verification)은 동일한 지점에 대해 두 개 이상의 정직한 방향을 얻어내는 예술입니다.

하나의 자신감 있는 답은 하나의 방위일 뿐이다

현대의 검증 문제

자동화 시스템은 이제 상업 및 지식 업무에서 대부분의 초안 답안을 생성합니다: 가격, 요약, 진단, 인용, 보고서의 숫자 등. 각 답안은 유창하고 자신감 있게 도착합니다. 그러나 유창함은 정확함이 아니며, 자신감은 두 번째 소스가 아닙니다. 각 자동화 답안은 정확히 하나의 방위입니다: 하나의 선, 하나의 방향이지, 고정된 위치(fix)가 아닙니다.

신중한 전문가는 하나의 자신감 있는 선을 위치가 확정된 점으로 오인하지 않습니다. 그들은 삼각측량합니다: 두 번째, 독립적인 방위를 얻고, 그 다음 세 번째를 얻습니다. 그들은 독립적인 답안들의 분산(spread)을 살펴봅니다. 그들은 조밀한 군집을 신뢰하며, 모든 것에서 멀리 떨어진 고립된 자신감 있는 답안은 발송할 진리가 아니라 확인해야 할 이상치(outlier)로 취급합니다.

그리고 그들은 독립성을 수호합니다. 단순히 첫 번째 출처를 되풀이하는 두 번째 출처(동일한 데이터, 동일한 방법, 동일한 자동화 기원)는 진정한 두 번째 방향(bearing)이 아닙니다. 그것은 같은 선을 두 번 그린 것에 불과합니다.

전문가가 다음으로 하는 일

당신은 자동화 시스템에 사실 기반 질문을 합니다. 시스템은 오류 영역도 출처도 없는 자신감 있고 유창하며 구체적인 답변을 반환합니다.

검증은 기하학이다 — 요약

배운 내용

무엇이 참인지를 아는 것은 점을 위치시키는 것과 같은 형태를 가집니다:

- 삼각측량법(Triangulation): 하나의 소스는 방위각(bearing), 즉 선을 제공하지만 점은 제공하지 않습니다. 독립적인 방위각들이 교차하는 지점이 진실을 가리킵니다. 두 개의 타워가 화재를 (3, 3)에 고정했지만, 하나의 타워만으로는 절대 불가능했습니다.

- 오차 영역(Error regions): 실제 측정은 점이 아닌 영역입니다. 독립적인 영역들이 겹쳐 더 작은 교집합을 형성함으로써 진실을 더 정확하게 좁혀줍니다. 오차 영역이 없는 주장은 경고 신호입니다.

- 수렴과 고립된 이상치: 독립적인 추정치들이 빽빽하게 뭉쳐 있으면 신뢰를 얻습니다. 반면, 고립된 자신감 있는 값은 심사를 받아야 합니다. 평균화는 1/sqrt(n)과 같이 분산을 줄입니다.

- 신호와 잡음: 신호 벡터는 합산되고, 독립적인 잡음 벡터는 상쇄되므로, 신호 대 잡음비(SNR)는 sqrt(n)과 같이 개선됩니다. 진정으로 독립적인 관측만 있을 때 잡음이 평균화되어 사라집니다.

자동화 시스템은 하루 종일 유창하고 자신감 있는 초안을 제공합니다. 각 초안은 하나의 방위각에 불과합니다. 전문가는 단일 선을 고정된 위치로 오해하지 않습니다: 그들은 삼각측량법을 적용하고, 분포를 읽으며, 뭉쳐 있는 값은 신뢰하고, 고립된 이상치는 불신하며, 모든 소스의 독립성을 보호합니다.