un

guest
1 / ?
back to lessons

Distância em Espaço Binário

A contribuição técnica mais famosa de Richard Hamming: códigos de correção de erros. A ideia geométrica por trás deles vai mais fundo do que qualquer código específico.

Distância de Hamming

Dado dois strings binários de mesma extensão, a distância de Hamming d(u, v) conta as posições em que eles diferem:

`` u = 1 0 1 1 0 v = 1 1 1 0 0 ↑ ↑ d(u,v) = 2 ``

Isso satisfaz todos os três axiomas métricos: d(u,v) ≥ 0; d(u,v) = 0 se e somente se u = v; d(u,v) = d(v,u); d(u,w) ≤ d(u,v) + d(v,w). O espaço binário n-dimensional com distância de Hamming forma um espaço métrico válido.

A geometria se visualiza claramente em baixas dimensões. Todos os 3-bit strings vivem nas 8 vértices de um cubo. Vértices adjacentes por aresta diferem exatamente em 1 bit; vértices-diagonais de face diferem em 2; vértices antipodais (por exemplo, 000 e 111) diferem em 3.

3-bit Hipercubo: Distância de Hamming

Calculando Distância de Hamming

Peso de Hamming wt(v) conta o número de 1s em v. A distância se relaciona com o peso via XOR:

d(u, v) = wt(u XOR v)

Exemplo: u = 10110, v = 11100. XOR = 01010. Peso = 2. Então d(u,v) = 2.

Calcule d(u, v) para u = 10011101 e v = 11010100. Mostre o passo XOR, então conte os bits que diferem.

Correção de Erros via Empacotamento Esférico

Um código binário C ⊆ {0,1}^n consiste em codewords escolhidos. Quando um codeword transmite por um canal ruído, alguns bits podem fl flip. O receptor recebe uma string corrompida e deve recuperar o original.

Defina uma esfera de Hamming de raio t centrada em codeword c:

B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }

Para corrigir até t erros, as bolinhas B(c, t) em torno de cada par de palavras-chave não devem se sobrepor. Se elas se sobrepor, uma palavra recebida poderia estar em duas bolinhas e o decodificador não poderia determinar qual palavra-chave foi enviada.

A distância mínima d_min de um código governa tudo:

- Detecte até d_min − 1 erros - Corrija até ⌊(d_min − 1) / 2⌋ erros

Código de Hamming (7,4): n = 7 bits, k = 4 bits de dados, d_min = 3. Corrige 1 erro. Detecta 2.

Correção de Erros: Empacotamento Esférico

Um código tem distância mínima de 5. Quantos erros ele pode detectar? Quantos ele pode corrigir? Mostre as fórmulas, em seguida, calcule ambos os valores.

Quantas Palavras-Chave Encaixam?

Quantas palavras-chave um código de comprimento n pode conter enquanto ainda corrigir t erros? Cada palavra-chave 'detém' uma bola de raio t. Todas as bolas juntas devem se encaixar dentro de {0,1}^n, que tem 2^n pontos.

Volume de uma bola de Hamming de raio t em {0,1}^n:

Vol(n,t) = Σ_{i=0}^{t} C(n, i)

O limite de Hamming (limite de empacotamento esférico) segue diretamente: um código corrigindo t erros satisfaz

M · Vol(n,t) ≤ 2^n

onde M é o número de palavras-chave. Então M ≤ 2^n / Vol(n,t).

Para o código de Hamming (7,4): n=7, t=1. Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8. Limite: M ≤ 128 / 8 = 16. O (7,4) código atinge M = 2^4 = 16: um código perfeito, significando que as bolas preenchem {0,1}^7 com nenhuma sobreposição.

Para n = 15 e t = 1 (correção de erros únicos), calcule Vol(15, 1) e o limite de Hamming sobre o número de palavras-chave M. O M = 2^11 é alcançável dada a limitação?

√n vs n

Hamming usou um argumento de caminhada aleatória para tornar o valor da visão a longo prazo precisa. O argumento converte uma afirmação vaga - 'a visão ajuda' - em um fato geométrico sobre distâncias.

Caminhada Aleatória Simétrica em ℤ

A cada passo, mova-se para +1 ou −1 com igual probabilidade. Após n passos, deslocamento médio da origem: E[|X_n|] ≈ √n.

Isso segue da variância: Var(X_n) = n (passos independentes, cada ±1 variância 1). Desvio padrão = √n.

Caminhada Direcionada

A cada passo, mova-se para +1 com probabilidade p > 1/2 (viés em direção a um objetivo). Após n passos, posição média: E[X_n] = n(2p−1). Para p = 1 (totalmente direcionado): E[X_n] = n.

A contraste: deriva aleatória escala como √n; progresso direcionado escala como n.

Caminhada Aleatória vs Caminhada Direcionada

Tradução de Hamming

Em uma carreira de pesquisa, cada dia de trabalho representa um passo. Sem uma visão clara do que importa, o trabalho se desvia em várias direções: após n dias, progresso neto ≈ √n. Com uma visão coerente a longo prazo, esforço se alinha: após n dias, progresso neto ≈ n. A razão n / √n = √n cresce sem limites.

A Razão √n

A caminhada direcionada não requer alvo perfeito. Qualquer viés persistente em direção a um objetivo converte a deriva em algo mais próximo de n progresso.

Hamming disse que uma pessoa com visão clara realiza aproximadamente √n vezes mais sobre uma carreira do que uma sem, onde n é o número de dias de trabalho. Se uma carreira abrange 10.000 dias de trabalho, qual razão isso prevê? O que o número sugere sobre o valor prático da visão sustentada?

Limites do Modelo

Um modelo que prevê uma saída de 100x da visão merece escrutínio. Vários itens que omite:

1. Dimensionalidade: as carreiras operam em espaço com alta dimensionalidade, não ℤ. A geometria de um passeio aleatório em ℝ^d muda significativamente com d.

2. Correlação: os passos de pesquisa correlacionam-se - o trabalho de hoje constrói sobre ontem. Passeios correlacionados comportam-se de forma diferente dos passos i.i.d.

3. A visão em si pode estar errada: um passeio direcionado para um atrator errado é pior do que o desvio.

Identifique uma suposição na qual a argumentação √n vs n depende e que considera mais suspeita em carreiras de pesquisa reais. Explique por que essa suposição importa para a previsão de 100x.

Tempo de Dupla

Hamming abriu seu curso com a afirmação de que o conhecimento técnico duplica aproximadamente a cada 17 anos. Essa afirmação tem uma estrutura matemática precisa: crescimento exponencial.

Modelo de Crescimento Exponencial

y(t) = a · e^(b·t)

onde a = quantidade inicial em t = 0, b = taxa de crescimento (por unidade de tempo), e ≈ 2.718.

Tempo de Dupla D: o tempo para y duplicar.

2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b

ln(2) ≈ 0.693. Para b = 0.693/17 ≈ 0.0408 por ano, tempo de dupla = 17 anos.

Meio Período

Meio Período H: tempo para y decrescer para metade de seu valor (b < 0).

H = ln(2) / |b|

A mesma fórmula em ambas as direções. Uma habilidade com metade de vida de 5 anos: após 5 anos, metade do valor de mercado desaparece. Após 10 anos: um quarto permanece. Após 20 anos: menos de 7% permanece.

Dobramento do Conhecimento

Se o conhecimento técnico dobrar a cada 17 anos, um estudante que se formou aos 22 anos enfrenta um cenário de conhecimento transformado aos 56 anos - uma carreira de 34 anos abrange dois dobramentos completos.

Usando D = ln(2) / b, calcule a taxa de crescimento anual b implicada por um tempo de dobramento de 17 anos. Em seguida, use y(t) = e^(b·t) para encontrar o fator pelo qual a base de conhecimento multiplica em uma carreira de 34 anos. Mostre o trabalho.

Meio de Vida da Especialização

O mesmo modelo exponencial se aplica à decadência. Uma habilidade específica (por exemplo, domínio de uma arquitetura de chip específica, uma API obsoleta, um algoritmo superado) perde valor com o tempo à medida que o campo evolui.

Se a metade de vida de uma habilidade especializada H = 5 anos, então após t anos a fração do valor original que permanece: f(t) = (1/2)^(t/H) = 2^(−t/H).

Após um período de metade de vida (5 anos): 50% permanece. Dois períodos de metade de vida (10 anos): 25%. Três (15 anos): 12,5%. Quatro (20 anos): 6,25%.

A implicação de Hamming: o valor de aprender como aprender se multiplica positivamente com o mesmo expoente que o conhecimento especializado decresce. Investir em estratégias de aprendizado, formulação de problemas e razoamento transferível preserva o valor através dos ciclos de metade de vida.

A especialização de um engenheiro de software em uma determinada estrutura tem uma metade de vida de 4 anos. Ela tem 12 anos até a aposentadoria. Qual fração do valor desse conhecimento permanece na aposentadoria? Em seguida, interprete: o que isso sugere sobre como ela deve alocar o tempo de aprendizado entre especialização profunda e habilidades transferíveis?

Geometria, Correção de Erros e Carreira

As três estruturas geométricas deste curso parecem desconectadas. Elas se conectam.

Distância de Hamming formaliza o custo do erro e a redundância necessária para recuperar dele. Todo sistema de comunicação, todo código-fonte, todo corpo de conhecimento precisa de suficiente redundância para que erros isolados não corrompam o todo.

O argumento de √n contra n traduz a visão em um fato geométrico: o derivação escala como a distância de um ponto de partida, o movimento direcionado escala como o deslocamento em direção a um objetivo. A redundância na estratégia de carreira - manter várias linhas de inquérito abertas - atenua contra os raros desvios de rota.

Crescimento e decaimo exponenciais governam tanto a fronteira em expansão quanto a meia-vida do que você sabe hoje. A única investimento estável: aprender a aprender, que se acumula na mesma escala de tempo que o conhecimento especializado decresce.

Conecte, no mínimo, dois desses três conceitos geométricos a uma única decisão concreta que você enfrenta no seu campo ou carreira. A conexão deve ser específica: nomeie a decisão, nomeie a estrutura geométrica e explique o que a geometria diz para você fazer de forma diferente do que faria sem ela.