単一の情報源は単なる線に過ぎない
測量士のように真実を特定する
遠くの火災の位置を特定したい測量士は、単一の監視塔からはそれを達成できません。1つの塔は方位を与えます:煙への方向、コンパスの角度です。方位は線であり、点ではありません。火災はその線上のどこかに、近くにも遠くにも存在し得ます。
火災を特定するには、別の塔からの第2の、独立した方位が必要です。各方位は線です。平行でない2つの線は正確に1点で交差します。その交点が固定点です。これが三角測量であり、すべての検証の形です:1つの情報源は方向を指し、独立した情報源が真実で交差します。
座標系の設定
タワーA を原点 (0, 0) に、タワーB を (6, 0) に配置し、2つのタワーを東西方向の基準線上に 6 km 間隔で配置します。東を +x 方向、北を +y 方向とします。方位角は北を基準に時計回りに測定します。
方位角 045度 は正確に北東を指します:東と北は同じ割合で増加します。したがって、タワーAからの方位角 045 の視線は y = x となります。
方位角 315度 は正確に北西を指します:北が増加するのと同時に、東は同じ割合で減少します。したがって、タワーB(x = 6 から始まる)からの視線は y = 6 - x となります。
2本の直線、1つの未知の点。これで解くのに十分です。
火災の位置を特定する
タワーAは煙の方位を 045度 と報告しています。タワーBは同じ煙の方位を 315度 と報告しています。
2本の視線は、タワーAからの y = x と、タワーBからの y = 6 - x であり、距離はキロメートル、東を +x、北を +y とします。
測定値は点ではなく領域である
実際の方位は曖昧である
クリーンな交差は、各方位が完全な線であることを前提としていた。しかし、実際の計器は完全ではない。コンパスの読みが045度ということは、実際には「045度付近の狭い扇形のどこか」を意味する。測定値は点ではなく、領域である:区間、エラーバー、真の値が妥当に存在しうると示す信頼領域である。
2つの独立した測定値がそれぞれ領域を持つ場合、真の値はそれらの領域が重なる部分、すなわち交差部分に妥当に存在する。2つのぼやけた扇形の交差は、どちらの扇形単体よりも小さいため、独立した測定値を組み合わせることで不確実性は縮小する。これは太い線による三角測量である:ぼやけた方位であっても、交差させることで真の値を小さな領域に閉じ込めることができる。
危険信号
エラー領域が一切ない単一の自信満々な数値として報告された主張は、警告のサインである。領域がなければ、精密な測定値と無謀な推測を区別できない:どちらも裸の数字として見えるからである。誠実な推定値は、その不確実性を伴って報告される。エラーバーのない数字は、それがどれほど不確実であるかを隠している。
独立性が重要である。同じ欠陥を共有する2つの測定値は、より小さい真の値に収束する重なりにはならない;それらは同じ誤差について一致するだけである。領域は、真に独立した方法から得られたものでなければならない。
なぜ重なりが裸の数字に勝るのか
2つの独立した研究所が同じ量を推定する。ラボ1は値をエラー領域付きで報告し、ラボ2は全く異なる方法を用いて、独自の値を独自のエラー領域付きで報告する。2つの領域は部分的に重なる。
クラスターを信頼し、外れ値を疑う
独立した推定値のクラスター
複数の独立した情報源に同じ量について尋ね、それらの答えを直線上にプロットします。推定値が密にクラスターしている場合(ばらつきが小さい場合)、クラスターの中心を信頼できます:多くの独立した経路がほぼ同じ場所に到達しており、それは偶然で偽造するのは困難です。
他のすべての推定値から大きく乖離して孤立している、確信に満ちた単一の回答は孤立した外れ値です。それは画期的な発見である可能性もありますが、それよりはるかに多くの場合、それは誤り、あるいは別の問いに対する回答、単に間違っている情報源に過ぎません。収束(他の推定値との一致)と矛盾しているからこそ、外れ値は信頼されるのではなく、厳密な検証の対象となります。
平均化はばらつきを縮小する
なぜ独立した推定値のクラスター(群)は、その中のどれよりも優れているのでしょうか。それは、平均化が独立したノイズ(誤差)を打ち消すからです。単一の測定値の標準偏差(ばらつき)がシグマ(sigma)である場合、n個の独立した測定値の平均の標準偏差は以下のようになります:
sigma / sqrt(n)
分散は1/nに比例して減少し、標準偏差は1/sqrt(n)に比例して減少します。4つの独立した測定値ではばらつきが半分になります(sqrt(4) = 2)。100個の測定値では1/10にまで縮小されます(sqrt(100) = 10)。独立した観測回数が増えれば、ノイズは少なくなり、真の値の周りにクラスターはより密に収束します。
平均化はどれほど有効か?
ある計器が、ランダムで独立したノイズを伴って一定の量を測定します。単一の測定値の標準偏差は10単位です。バイアス(系統的誤差)はありません:測定値は真の値の周りに対称的に散らばっています。
真の方向への射影
シグナルは方向であり、ノイズはあらゆる方向を指す
各測定値を矢印として想像してください。すべての矢印は、シグナル(真の値で、一定の方向を指す)と、毎回異なるランダムな方向を指すノイズの矢印の和です。単一の測定値はシグナルと1回のランダムな衝撃の和であり、どの部分がシグナルでどの部分がノイズかを見分けることはできません。
無数の独立した測定値を平均化すると、同じ方向を指しているシグナルの矢印は加算される。一方、あらゆる方向を指しているノイズの矢印は、大部分が打ち消し合う。残るのは真の方向への射影であり、シグナルは n に比例して成長するのに対し、ノイズは sqrt(n) に比例してしか成長しないため、シグナル対ノイズ比は sqrt(n) に比例して向上する。これは、別の側面から見た同じ 1/sqrt(n) の法則である。
これが、独立性がすべてである理由である。もしノイズの矢印がすべて同じ方向を指している場合(ソースが互いをコピーしている、共通のバイアスがある場合など)、それらは打ち消し合うのではなく、シグナルと同様に加算される。1つのソースの10倍のコピーであっても、依然として単一の方位(ベアリング)に過ぎない。真に独立した観測のみが、ノイズを平均化して消去させる。
したがって、このツールキット全体は一つの幾何学的な図式である:独立した方位は真実で交差し、独立した誤差領域はより小さな領域に重なり、独立した測定値はノイズをゼロに平均化する。検証とは、同じ点に対して複数の誠実な方向性を得る技術である。
自信ある1つの回答は、単なる1つの方位に過ぎない
現代の検証問題
自動化されたシステムは現在、商業および知識労働における初稿の回答の大部分を生成している:価格、要約、診断、引用、レポート内の数値などである。各回答は流暢かつ自信を持って届く。しかし、流暢さは正確さではなく、自信は第2のソースではない。各自動化された回答はまさに1つの方位である:単一の線、方向であり、確定した位置ではない。
慎重なプロフェッショナルは、自信ある1本の線を、位置が確定した点と誤認しない。彼らは三角測量を行う:第2の、独立した方位を取得し、次に第3の方位を取得する。彼らは独立した回答のばらつきを見る。緊密なクラスタを信頼し、他のすべてから遠く離れた孤独な自信ある回答は、真実として出荷すべきものではなく、確認すべき外れ値として扱う。
そして、独立性を守ります。単に最初の情報源を繰り返すだけの第二の情報源(同じデータ、同じ手法、同じ自動生成の起源)は、そもそも第二の方位(bearing)ではありません。それは、同じ線を二度描いただけです。
プロフェッショナルが次にすること
あなたは自動システムに事実に関する質問をします。すると、エラー領域もなく、出典も示されず、自信に満ちた流暢で具体的な回答が返ってきます。
検証は幾何学である — まとめ
学んだこと
真実を知ることは、点を特定することの形をしています:
- 三角測量(Triangulation): 1つの情報源は方位(ベアリング)を与え、それは線であり、点ではありません。独立した方位が真実の点で交差します。2つの塔が火災の位置を(3, 3)に特定しましたが、1つの塔では決して特定できませんでした。
- 誤差領域: 実際の測定値は点ではなく領域です。独立した領域が重なり合い、より小さな交差部分となり、真実を絞り込みます。誤差領域を持たない主張は危険信号です。
- 収束と孤立した外れ値: 独立した推定値が密に集まっていれば信頼に値しますが、孤立した自信満々な値は厳密な検証を要します。平均化は、1/sqrt(n) に比例してばらつきを縮小します。
- 信号とノイズ: 信号の矢印は加算され、独立したノイズの矢印は相殺されるため、信号対ノイズ比(SN比)は sqrt(n) に比例して改善します。真に独立した観測のみが、ノイズを平均化して消去することを可能にします。
自動化されたシステムは、一日中、流暢で自信に満ちた初稿をあなたに手渡します。それぞれは1つの方位です。プロフェッショナルは、単一の線を確定位置(フィックス)と誤認しません:彼らは三角測量を行い、ばらつきを読み取り、クラスタ(集まり)を信頼し、孤立した外れ値を疑い、すべての情報源の独立性を守ります。