Clases
Clase 1:
Clase 1:
Concepto de Información. Transmisión de la Información. Entropía. Entropía condicional.
Entropía conjunta. Entropía relativa. Información mutua. Desigualdad de Jensen.
Desigualdades en Teoría de la Información ("Log-sum, data processing, Fano").
Material de Lectura:
Introducción
Teoremas Básicos
Desigualdades Adicionales
Clase 2:
Clase 2:
Convergencia en Probabilidad. Ley de los grandes números. Conjuntos típicos. Teorema de la equipartición asintótica (AEP).
Material de Lectura:
Notas 1
Notas 2
Teorema de la equipartición asintótica
W. Feller. Teoría de Probabilidades y sus Aplicaciones. Vols. 1 y 2. Ed. Limusa. 1978.
Clase 3:
Clase 3:
(AEP) Continuación. Aplicaciones. Compresión de Datos.
Clase 4:
Clase 4:
Compresión de Datos. Desigualdad de Kraft. Códigos Óptimos.
Tipos de códigos. Código de Huffman. Códigos Aritméticos.
Codificación Lempel-Ziv.
Material de Lectura:
Compresión de Datos
AEP revisitado
Huffman
Código Aritmético
Código Aritmético. Notas Adicionales
Codificación Aritmética. Ejemplo
Lempel Ziv
Clase 5:
Clase 5:
Teorema de Shannon de Codificación del Canal.
Material de Lectura:
Notas 1
Notas 2
Clase 6:
Clase 6:
Aritmética binaria en campos de Galois GF(2). Codificación lineal por bloques. Código de Hamming
Material de Lectura:
Notas
Clase 7:
Clase 7:
Códigos Cíclicos. Representación por polinomios. Códigos cíclicos con redundancia (CRC). Polinomios en GF(2n) Códigos BCH y Reed-Solomon.
Material de Lectura:
Notas
Clase 8:
Clase 8:
Variable aleatoria continua. Entropía diferencial. Teoremas de Shannon. Canal gaussiano. Capacidad del canal gaussiano. Concepto de "Bit error rate (BER)".
Material de Lectura:
Notas 1
Notas 2
Clase 9:
Clase 9:
Códigos convolucionales. Algoritmo de Viterbi "Hard-Soft decision". Algoritmo BCJR. Turbocódigos.
Material de Lectura:
Códigos Convolucionales. Introducción
Códigos Convolucionales. Algoritmo de Viterbi
Bit-Error-Rate Simulation Using Matlab
Algoritmo BCJR (artículo original)
Algoritmo BCJR y Turbocódigos
Artículo de Berrau et. al. 1993
Clase 10:
Clase 10:
Algoritmo de pasaje de mensajes (Message passing, Belief Propagation, Sum-Product). Códigos LDPC (Low Density Parity Check).
Material de Lectura:
Notas
S. J. Johnson, LDPC Introduction
"Information Theory, Inference and Learning Algorithms", Mac Kay. par. 16, 26 y 47.
"Fundamentals of Error Correcting Codes" W. C. Huffman and V. Pless. par. 15.6
Clase 11:
Clase 11:
Compresión de Datos. Transformada coseno discreta. Normas de compresión.
Material de Lectura:
Discrete-Time Signal Processing, Alan V. Oppenheim and Ronald W. Schafer,
Prentice Hall, 2nd. Ed. 1998. Par. 8.8
Compresión de Imágenes utilizando la Transformada Coseno discreta
Norma H264