Teoria da informação

E-mail | Imprimir | PDF

A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia.

Claude E. Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal.

É geralmente aceito que a moderna disciplina da teoria da informação começou com duas publicações: a do artigo científico de Shannon intitulado Teoria Matemática da Comunicação ("A Mathematical Theory of Communication"), no Bell System Technical Journal, em julho e outubro de 1948; e do livro de Shannon em co-autoria com o também engenheiro estadunidense Warren Weaver (1894-1978), intitulado Teoria Matemática da Comunicação (The Mathematical Theory of Communication), e contendo reimpressões do artigo científico anterior de forma acessível também a não-especialistas - isto popularizou os conceitos.

Índice

1 Contexto histórico
2 Entropia da informação
3 Ver também
4 Ligações externas

Contexto histórico

O marco que estabeleceu a teoria da informação e chamou imediatamente a atenção mundial foi o artigo A Mathematical Theory of Communication escrito por Claude E. Shannon de julho a outubro de 1948.

Antes deste artigo, algumas abordagens teóricas ainda que limitadas vinham sendo desenvolvidas nos laboratórias da Bell, todas implicitamente assumindo eventos de igual probabilidade. O artigo Certain Factors Affecting Telegraph Speed de Harry Nyquist escrito em 1924 contém uma seção teórica que quantifica inteligência e a velocidade de transmissão pela qual ela pode ser transmitida por um sistema de comunicação, estabelecendo a relação W = Klog m, onde W é a velocidade de transmissão da inteligência, m é o número de níveis de tensão para cada intervalo de tempo, e K é uma constante. Em 1928, Ralph Hartley publicou o artigo Transmission of Information, onde aparece a palavra informação como uma quantidade mensurável que a capacidade do destinatário distinguir diferentes sequências de símbolos, levando à expressão H = log Sⁿ = nlog S, onde S e n representam, respectivamente, o número de símbolos possíveis e o número de símbolos na transmissão. Inicialmente, a unidade natural da transmissão foi definida como sendo o dígito decimal, sendo, posteriormente, renomeada para hartley em uma clara homenagem. Alan Turing em 1940, durante a 2ª Guerra Mundial, aplicou ideias similares como parte da análise estatística para decifrar a criptografia da máquina alemã Enigma.

Boa parte da matemática por trás da teoria da informação com eventos de diferentes probabilidades foi desenvolvida para os campos da termodinâmica por Ludwig Boltzmann e J. Willard Gibbs. As conexões entre as entropias da informação e termodinâmica, incluindo as importantes contribuições de Rolf Landauer na década de 1960, são exploradas na Entropia termodinâmica e teoria da informação.

No artigo seminal de Shannon, introduz-se pela primeira vez um modelo quantitativo e qualitativo da comunicação, apresentando-a como um processo estatístico subjacente à teoria da informação. Shannon inicia seu artigo dizendo

"O problema fundamental da comunicação é reproduzir em um dado ponto, exata ou aproximadamente, uma mensagem produzida em outro ponto."

Com este artigo vieram à tona os conceitos

de entropia da informação e redundância de uma fonte, e sua aplicação no teorema de codificação da fonte;
de informação mútua e capacidade de um canal com ruído, incluindo a promessa de comunicação sem perdas estabelecida no teorema de codificação de canais-ruidosos;
da lei de Shannon-Hartley para a capacidade de um canal Gaussiano;
do bit - uma nova forma de enxergar a unidade fundamental da informação.

Entropia da informação

No processo de desenvolvimento de uma teoria da comunicação que pudesse ser aplicada por engenheiros eletricistas para projetar sistemas de telecomunicação melhores, Shannon definiu uma medida chamada de entropia, definida como:

$H(X) = -\sum_{x \in \mathbb{X}} p(x) \log p(x)$

onde log é o logaritmo na base 2, que determina o grau de caoticidade da distribuição de probabilidade p_i e pode ser usada para determinar a capacidade do canal necessária para transmitir a informação.

A medida de entropia de Shannon passou a ser considerada como uma medida da informação contida numa mensagem, em oposição à parte da mensagem que é estritamente determinada (portanto prevísivel) por estruturas inerentes, como por exemplo a redundância da estrutura das linguagens ou das propriedades estatísticas de uma linguagem, relacionadas às frequências de ocorrência de diferentes letras (monemas) ou de pares, trios, (fonemas) etc., de palavras. Veja cadeia de Markov.

A entropia como definida por Shannon está intimamente relacionada à entropia definida por físicos. Boltzmann e Gibbs fizeram um trabalho considerável sobre termodinâmica estatística. Este trabalho foi a inspiração para se adotar o termo entropia em teoria da informação. Há uma profunda relação entre entropia nos sentidos termodinâmico e informacional. Por exemplo, o demônio de Maxwell necessita de informações para reverter a entropia termodinâmica e a obtenção dessas informações equilibra exatamente o ganho termodinâmico que o demônio alcançaria de outro modo.

Outras medidas de informação úteis incluem informação mútua, que é uma medida da correlação entre dois conjuntos de eventos. Informação mútua é definida por dois eventos X e Y como:

$\ M(X,Y)=H(X,Y)-H(X)-H(Y)$

onde H(X,Y) é a entropia conjunta (join entropy) ou

$\ H(X,Y)=-\sum_{x,y} p(x,y)\log p(x,y)$

Informação mútua está relacionada de forma muito próxima com testes estatísticos como o teste de razão logarítmica e o teste Chi-square.

A teoria da informação de Shannon é apropriada para medir incerteza sobre um espaço desordenado. Uma medida alternativa de informação foi criada por Fisher para medir incerteza sobre um espaço ordenado. Por exemplo, a informação de Shannon é usada sobre um espaço de letras do alfabeto, já que letras não tem 'distâncias' entre elas. Para informação sobre valores de parâmetros contínuos, como as alturas de pessoas, a informação de Fisher é usada, já que tamanhos estimados tem uma distância bem definida.

Diferenças na informação de Shannon correspondem a um caso especial da distância de Kullback-Leibler da estatística Bayesiana, uma medida de distância entre distribuições de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduziu uma medida de informação que é baseada no menor algoritmo que pode computá-la (veja complexidade de Kolmogorov).

Ver também

Abraham Moles
Distância Levenshtein
Informação
Norbert Wiener

fonte.wikipedia

< Anterior		Próximo >

MAIS INFORMAÇÕES DO SETOR DE SOFTWARE

Nanotecnologia

Imagem de um circuito integrado ampliada 2400 vezes A nanotecnologia (algumas vezes chamada [ ... ]