EE 913 Teoria da Informação (60 horas - 04 créditos)

PDF Imprimir E-mail

EMENTA

Entropia. Propriedades da função entropia. Fonte discreta sem memória. Fontes de Markov. Extensões de fontes. Codificação de fonte. Diagramas de árvores. Árvores com probabilidades. Lema do caminho médio. Incerteza terminal em árvores. Informação mútua. Canais de comunicação. Capacidade de canal. Algoritmo de Arimoto-Blahut. Segundo teorema de Shannon. Noções de codificação de canal.

CONTEÚDO PROGRAMÁTICO

01. Entropia associada a uma variável aleatória.
02. Propriedades da função entropia.
03. Fonte discreta sem memória. Algumas propriedades.
04. Fontes de Markov. Extensões de fontes.
05. Codificação de fonte.
06. Códigos sem-prefixo.
07. Desigualdade de Kraft.
08. Primeiro teorema de Shannon.
09. Código de Shannon-Fano.
10. Código de Huffman.
11. Diagramas de árvores. Propriedades.
12. Árvores com probabilidades. Lema do caminho médio.
13. Incerteza terminal em árvores.
14. Informação mútua. Canais de comunicação.
16. Canais sem ruído e canais determinísticos.
17. Canais em cascata.
18. Capacidade de canal.
19. Cálculo da capacidade de alguns canais (BSC, BEC, etc).
20. Algoritmo de Arimoto-Blahut.
21. Transmissão confiável através de canais ruidosos.
22. Segundo teorema de Shannon
23. Noções de codificação de Canal. Códigos de blocos.

BIBLIOGRAFIA

01. Abramson, N., "Information Theory and Coding", McGraw-Hill, 1963.
02. Massey, J.L., "Applied Digital Information Theory", parte I.
Notas de aula. Information and Signal Processing Laboratory. Swiss Federal Institute of Technology-Zurich, 1990.
03. Gallager, R. G., "Information Theory and Reliable Communication", John Wiley, 1968.
04. Cover,T. and Thomas, J. , "Elements of Information Theory", 2a Edição, New York,Wiley, 2006.
05. Slepian, D. (Editor), "Key Papers in Development of Information Theory", New York,
IEEE Press, 1974.
06. Sloane, N. J. A. and Wyner, A. (Editors), "Claude Shannon, Collected Papers", New York, IEEE Press, 1993.