二進法空間での距離
リチャード・ハミングの最も有名な技術的貢献: エラー訂正コード。彼らの背後にある幾何学的なアイデアは、特定のコードよりも深いものです。
ハミング距離
等長の二進法文字列の2つの間で、d(u, v)は異なる位置をカウントします:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
これは、3つの計量公理をすべて満たします: d(u,v) ≥ 0; d(u,v) = 0 ならば u = v; d(u,v) = d(v,u); d(u,w) ≤ d(u,v) + d(v,w). 二進法n空間でハミング距離を用いることで、有効な計量空間が形成されます。
幾何学は低次元ではっきりと視覚化されます。すべての3ビット文字は、立方体の8つの頂点に位置しています。1ビットだけ異なるエッジ接続の頂点、2ビット異なる面対角の頂点、3ビット異なる対極の頂点（例えば、000と111）があります。
ハミング距離の計算
ハミング重さ wt(v) は、v に含まれる 1 の数をカウントします。距離は、XOR を用いて次のように関連付けます:
d(u, v) = wt(u XOR v)
例: u = 10110, v = 11100. XOR = 01010. Weight = 2. So d(u,v) = 2.
エラー訂正による球状詰め
二進法文字列の集合 C ⊆ {0,1}^n は、選択された文字列（コーディングワード）で構成されます。ノイズチャネルを通じてコーディングワードが送信されると、ビットが反転することがあります。受信者は、元の文字列を回復するために、汚染された文字列を取得します。
定義: ハミングボール の半径 t を持つコーディングワード c:
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
エラーを訂正するには、各ペアの文字列周りのボールB(c, t)が重ならない必要があります。重なっていると、受信された文字列が2つのボールに含まれている可能性があり、デコード器はどの文字列が送信されたのか決定できません。
コードの最小距離d_minはすべてを支配します:
- d_min − 1エラーを検出する - ⌊(d_min − 1) / 2⌋エラーを訂正する
ハミング(7,4)コード：n = 7ビット、k = 4のデータビット、d_min = 3。1個のエラーを訂正し、2個を検出します。
どれくらいのコードワードが収まるか?
長さnのコードがt個のエラーを訂正できる最大のコードワード数は何ですか？各コードワードは半径tのボールを所有します。すべてのボールが2^nの点からなる{0,1}^nの中に収まる必要があります。
{0,1}^nの半径tのハミングボールの体積は?
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
ハミング限界（球パッキング限界）は直接導かれます：t個のエラーを訂正できる符号は
M · Vol(n,t) ≤ 2^n
で、Mがコードワードの数であることを示します。したがって、M ≤ 2^n / Vol(n,t)です。
ハミング(7,4)コード：n=7、t=1。Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8。限界：M ≤ 128 / 8 = 16。 (7,4)コードはM = 2^4 = 16を達成します：完全なコードであり、ボールが{0,1}^7を完全に覆い、ギャップがない。
√n と n
ハミングは、ランダムウォークの議論を使用して、長期的な視野の価値を具体的なものにしました。この議論は、'視覚が役立つ'という曖昧な主張を、距離に関する幾何学的事実に変換します。
ℤ 上の対称ランダムウォーク
各ステップで、+1 または −1 に等確率で動きます。n ステップ後に、起点からの期待的なずれ: E[|X_n|] ≈ √n です。
これは、分散から導かれます: Var(X_n) = n (各 ±1 の分散は 1 で、ステップが独立しています)。標準偏差は √n です。
指向性のあるウォーク
各ステップで、+1 に p > 1/2 の確率で動きます (目標に向かってバイアス)。n ステップ後に、期待位置: E[X_n] = n(2p−1) です。p = 1 (完全に指向性): E[X_n] = n です。
対照:ランダムな揺れは √n で、指向性の進捗は n です。
ハミングの翻訳
研究キャリアでは、各働く日に1ステップに相当します。視野が明確でない場合、労力は多方向に漂います: n 日後に、実質的な進捗 ≈ √n です。一貫した長期的な視野がある場合、努力が整列します: n 日後に、実質的な進捗 ≈ n です。比 n / √n = √n は無限に成長します。
√n の比率
指向性のあるウォークは、完全な狙いがない必要がありません。目標に向かって持続的なバイアスがある場合、√n の揺れが n の進捗に近いものになるように変換されます。
モデルの制約
視覚が予測する100倍の出力を出すモデルには、注意が必要です。以下が含まれていない点が何つもります:
1. 次元: キャリアは、ℤではなく、高次元の空間で動作します。乱数ウォークの幾何学は、dが大きくなるごとに大きく変わります。
2. 相関: 研究は相関しています — 今日の仕事は昨日のものに基づいています。相関したウォークは、i.i.d. ステップとは異なる振る舞いをします。
3. 視覚自体が間違っている可能性: 目指しているアトラクタが間違っていれば、ランダムウォークよりも意図的なウォークが悪いことになります。
倍増期間
ハミングは、技術知識が約17年に1度、倍増するという主張でコースを始めました。それは次の数学的構造を持つ精確な主張です：指数成長です。
指数成長モデル
y(t) = a · e^(b·t)
ここで、a = t = 0 の時点での初期量、b = 成長率 (単位時間あたり)、e ≈ 2.718です。
倍増期間 D: y が 2倍になるまでの時間。
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0.693。b = 0.693/17 ≈ 0.0408 の場合、倍増期間 = 17年です。
半減期
半減期 H: y が半分に減少するまでの時間 (b < 0)。
H = ln(2) / |b|
同じ式を両方向で使用します。5年間の半減期を持つスキル。5年後、市場価値の半分が失われる。10年後：残存率は1/4。20年後：残存率は7%未満。
知識の倍増
技術知識が17年に1回倍増する場合、22歳で卒業した学生は、56歳までに知識の地形が変わります—a 34年間のキャリアは、2つの完全な倍増期間を含みます。
専門知識の半減期
指数関数モデルは減衰にも適用されます。特定のスキル（例えば、特定のチップアーキテクチャのマスタリー、廃止API、後退アルゴリズム）は、フィールドが進むことで価値が失われます。
特定のスキルHの半減期が5年である場合、t年後で元の価値の残存割合:f(t) = (1/2)^(t/H) = 2^(-t/H)。
1つの半減期 (5年)：50%が残存。2つの半減期 (10年)：25%。3つの半減期 (15年)：12.5%。4つの半減期 (20年)：6.25%。
Hammingの示唆：学習方法への投資は、同じ指数で特殊知識が減衰するものと同じように正の積分が増殖します。問題解決、問題フレーミング、そして移転可能な推論への学習投資は、半減期サイクルを通じて価値を保持します。
幾何学、誤差修正、およびキャリア
このレッスンから得られる3つの幾何学的構造は、つながりがないように見えます。つながりがあります。
ハミング距離は、誤差のコストと誤差から回復するための冗長性が必要であることを形式化します。すべての通信システム、すべてのコードベース、すべての知識体系は、単一のエラーが全体を破壊することがないように十分な冗長性が必要です。
√n vs nの議論は、視野を幾何学的事実に翻訳します: 適切な出発点からの距離でズレが拡がり、目標に向かっての進む距離でズレが拡がります。キャリア戦略の冗長性 - たまに誤った方向に進んだりするリスクを緩和するために、複数の線を保っておくことです。
指数関数的成長および減衰は、拡がるフロンティアと今日知っているものの半減期を支配します。安定した投資は、同じ減衰時間スケールで特殊知識が失われると同じスケールで学習する方法を学ぶことです。