A entropia de Shannon: uma abordagem axiomática

Resumo

A palavra "entropia" surgiu no ano de 1864, nos trabalhos de Termodinâmica de Rudolf Clausius. Em 1948, Claude E. Shannon utiliza esse mesmo nome para designar uma medida de informação em seu modelo matemático de comunicação, fundamentado nos conceitos de emissor, receptor, canal, ruído, redundância, codificação e decodificação. Com a medida de informação H(X)=-C*sum_{i=1}^n[pi*log (pi)], a entropia de Shannon, torna-se possível analisar a capacidade do canal de comunicação e investir em tratamentos de dados, dando origem ao que se chama atualmente de Teoria da Informação. Além dos aspectos operacionais e tecnológicos da teoria de Shannon, que revelam a era digital, as abordagens matemáticas acerca da fórmula H(X) acabam por revelar também uma vertente voltada às caracterizações de medidas de informação. Entende-se que uma exposição didática da dedução matemática da fórmula de entropia de Shannon, com base em um conjunto de axiomas, seja interessante não somente no sentido pedagógico, mas também para o entendimento da teoria de Shannon. Mostra-se, desse modo, que essa fórmula está imersa em um contexto matemático bem definido (um sistema com axiomas e equações funcionais), que permite, com alterações nos axiomas, definir novas medidas de informação.