A entropia de Shannon: uma abordagem axiomática

Autores

  • José Carlos Magossi Universidade Estadual de Campinas (UNICAMP), Faculdade de Tecnologia (FT), Divisao de Telecomunicações, Limeira, SP, Brasil https://orcid.org/0000-0001-8985-6507
  • Antônio César da Costa Barros Universidade Estadual de Campinas (UNICAMP), Faculdade de Tecnologia (FT), Doutorando no Programa de Pós-Graduação em Tecnologia (PPGT), Limeira, SP, Brasil https://orcid.org/0000-0002-4822-9459

DOI:

https://doi.org/10.35819/remat2021v7i1id4756

Palavras-chave:

Axiomas, Entropia, Comunicação, Teoria de Shannon, Equação Funcional

Resumo

A palavra "entropia" surgiu no ano de 1864, nos trabalhos de Termodinâmica de Rudolf Clausius. Em 1948, Claude E. Shannon utiliza esse mesmo nome para designar uma medida de informação em seu modelo matemático de comunicação, fundamentado nos conceitos de emissor, receptor, canal, ruído, redundância, codificação e decodificação. Com a medida de informação H(X)=-C*sum_{i=1}^n[pi*log (pi)], a entropia de Shannon, torna-se possível analisar a capacidade do canal de comunicação e investir em tratamentos de dados, dando origem ao que se chama atualmente de Teoria da Informação. Além dos aspectos operacionais e tecnológicos da teoria de Shannon, que revelam a era digital, as abordagens matemáticas acerca da fórmula H(X) acabam por revelar também uma vertente voltada às caracterizações de medidas de informação. Entende-se que uma exposição didática da dedução matemática da fórmula de entropia de Shannon, com base em um conjunto de axiomas, seja interessante não somente no sentido pedagógico, mas também para o entendimento da teoria de Shannon. Mostra-se, desse modo, que essa fórmula está imersa em um contexto matemático bem definido (um sistema com axiomas e equações funcionais), que permite, com alterações nos axiomas, definir novas medidas de informação.

Downloads

Não há dados estatísticos.

Biografia do Autor

José Carlos Magossi, Universidade Estadual de Campinas (UNICAMP), Faculdade de Tecnologia (FT), Divisao de Telecomunicações, Limeira, SP, Brasil

Antônio César da Costa Barros, Universidade Estadual de Campinas (UNICAMP), Faculdade de Tecnologia (FT), Doutorando no Programa de Pós-Graduação em Tecnologia (PPGT), Limeira, SP, Brasil

Referências

ACZÉL, J.; DARÓCZY, Z. On measures of information and their characterizations. v. 115, New York: Academic Press, 1975.

ACZÉL, J.; FORTE, B.; NG, C. T. Why the Shannon and Hartley entropies are "natural". Advances in Applied Probability, v. 6, n. 1, p. 131-146, 1974. DOI: https://doi.org/10.2307/1426210.

ACZÉL, J. Measuring information beyond communication theory: Some probably useful and some

almost certainly useless generalizations. Information processing & management, v. 20, n. 3, p. 383-395, 1984a.

ACZÉL, J. Measuring information beyond communication theory: Why some generalized information measures may be useful, others not. Survey paper. Aequationes Mathematicae, v. 27, p. 1-19, 1984b.

ASH, R. B. Information Theory. New York: Dover Publications, 1990.

BARTLE, R. G.; SHERBERT, D. R. Introduction to Real Analysis. 4. ed, New York: John Wiley & Sons, 2011.

CLAUSIUS, R. Abhandlungen über die mechanische Wärmetheorie. Braunschweig: Druck Und Verlag Von Friedrich Vieweg Und Sohn, 1864.

COVER, T. M.; THOMAS, J. A. Elements of Information Theory. 1. ed. John Wiley & Sons, 1991, 2. ed., NJ, 2006.

EBANKS, B.; SAHOO, P.; SANDER, W. Characterizations of Information Measures. Singapura: World Scientific, 1998.

FADDEEV, D. K. On the Concept of Entropy of a Finite Probability Scheme. Originalmente publicado em

Russo em Uspekhi Matematicheskikh Nauk, v. 11, n. 1 (67), p. 227-231, 1956.

INGARDEN, R. S.; URBANIK, K. Information without probability. Colloquium Mathematicum, v. IX, p. 132-150, 1962.

KHINCHIN, A. I. Mathematical Foundations of Information Theory. Trad. R. A. Silverman; M. D.

Friedman. New York: Dover Publications, 1957.

MAGOSSI, J. C.; PAVIOTTI, J. R. Incerteza em Entropia. Revista Brasileira de História da Ciência,

Rio de Janeiro, v. 12, n. 1, p. 84-96, jan/jun 2019.

PIERCE, J. R. An Introduction to Information Theory - Symbols, Signals and Noise. New York: Dover Publications, 1961.

REZA, F. M. An Introduction to Information Theory. New York: McGraw-Hill, 1961.

RIOUL, O. Teoria da Informação e da Codificação. Trad. José Carlos Magossi. Campinas: Editora da Unicamp, 2018.

SHANNON, C. E. A Mathematical Theory of Communication. The Bell System Technical Journal, v. 27, p. 379-423, p. 623-656, jul. 1948.

SHANNON, C. E.; WEAVER, W. The Mathematical Theory of Communication. Urbana, Illinois: University of Illinois Press, 1949.

Downloads

Publicado

2021-05-26

Como Citar

MAGOSSI, J. C.; BARROS, A. C. DA C. A entropia de Shannon: uma abordagem axiomática. REMAT: Revista Eletrônica da Matemática, v. 7, n. 1, p. e3013, 26 maio 2021.

Edição

Seção

Matemática