Le lezioni

Le lezioni si tengono nel secondo semestre con il seguente orario:

• lunedì ore 9.00-11.00 (lezione, Aula 009);
• lunedì ore 11.00-13.00 (lezione, Aula Informatica);
• mercoledì ore 11.00-13.00 (lezione, Aula 009);
• martedì ore 11.00-13.00 (lezione, Aula Informatica);
• giovedì ore 11.00-13.00 e ore 14.00-16.00 (lezione, Aula 009).

Lezione n. 1 - Monday 22 February 2010

Presentazione del corso: libri di testo, valutazione in itinere, argomenti trattati. Descrizione del modello di Shannon. Il problema centrale della Teoria dell'Informazione: migliorare le caratteristiche del canale mediante opportuna codifica. Caratteristiche dei mezzi di informazione. Codifica per ripetizione: il codice R_3.

Lezione n. 2 - Wednesday 24 February 2010

Decodifica a maggioranza del codice $R_3$. Valutazione del rapporto di verosimiglianza. Dimostrazione che la decodifica a maggioranza corrisponde alla decodifica che massimizza il rapporto di verosimiglianza (per $f<1/2$).

Lezione n. 3 - Monday 1 March 2010

Codici a ripetizione: valutazione dell'errore. Codici a blocchi: errore medio per blocco, ed errore medio per bit. Decodifica piu' probabile.

Lezione n. 4 - Wednesday 3 March 2010

Codici Lineari: matrice generatrice, matrice per il controllo della parita'. Definizione di sindrome. Decodifica per sindrome. Codici a blocchi. Codici Lineari: codice Hamming (7,4). Valutazione dell'errore nel caso del canale BSC con prob. di errore f.

Lezione n. 5 - Thursday 4 March 2010

Introduzione a mathematica. Calcolo simbolico. Differenze tra compilatori e interpreti. Package per il calcolo sui campi finiti. Codici Lineari. implementazione del codice Hamming (7,4).

Lezione n. 6 - Monday 8 March 2010

Definizione di Entropia. Richiami di calcolo delle probailita'. Funzioni convesse. Disuguaglianza di Jensen. Operazioni su campi finiti. Implementazione di codici lineari. Calcolo del controllo di parita'. Calcolo della sindrome. Calcolo del nullspace.

Lezione n. 7 - Wednesday 10 March 2010

Proprieta' dell'entropia: regola della somma, scomposizione. Entropia relativa, Divergenza di Kullback-Lieber.

Lezione n. 8 - Wednesday 17 March 2010

Applicazioni della disuguaglianza di Jensen, Disuaguaglianza di Gibbs. Formula ricorsiva per il calcolo dell'entropia. Decodifica per sindrome nel caso di matrici per il controllo di parita' generate in modo casuale.

Lezione n. 9 - Monday 22 March 2010

Calcolo della massima entropia nel caso di distribuzioni binarie. Principio di massima verosimiglianza. Regola di decomposizione del calcolo dell'entropia. Disuguaglianza di Gibbs. Disuguaglianza di Jensen: applicazioni.

Lezione n. 10 - Wednesday 24 March 2010

Teorema di codifica della sorgente. Misura del contenuto di informazione di una variabile aleatoria. Contenuto informativo grezzo.

Lezione n. 11 - Monday 29 March 2010

Compressione. Compressione con perdita. Contenuto informativo essenziale. Compressione con perdita di informazione. Teorema di Shannon. Disuguaglianza di Kraft. Codici ottimali. Insiemi di tipicita'. Principio di equipartizione asintotica.

Lezione n. 12 - Wednesday 31 March 2010

Codici Simbolici. Codifica della sorgente. Lunghezza media delle parole codice. Entropia e lunghezza media. Codici Simbolici. Decodificabilita' unica. Codici Prefissi. Esempi.

Lezione n. 13 - Wednesday 7 April 2010

Proprieta' di decodifica univoca. Disuguaglianza di Kraft.

Lezione n. 14 - Tuesday 20 April 2010

Implementazione di Codici Lineari Random. Matrice Generatrice. Algoritmo di generazione di Codice Lineare Sparso per la correzione di errori.

Lezione n. 15 - Wednesday 21 April 2010

Codici ottimali. Codifica di Huffman Codici a flusso. Modello Bayesiano.

Lezione n. 16 - Wednesday 28 April 2010

Codici Huffman con intestazione. Applicazioni dei codici aritmetici. Applicazioni della codifca aritmetica alla generazione di grafi casuali. Applicazioni dei codici aritmetici.

Lezione n. 17 - Tuesday 4 May 2010

Definizione della codifica e della matrice per il controllo di parita' nel caso dei codici lineari. Calcolo della sindrome. alcolo della matrice generatrice. Codici LDPC. Ricerca di un codice lineare casuale per la correzione di errori. Implementazione sui campi finiti.

Lezione n. 18 - Wednesday 5 May 2010

Codici Aritmetici: algoritmo di codifica. Modelli probabilisitici usati nei codici aritmetici. Esempio di decodifica. Generatore di sequenze casuali basate sui codici aritmetici. Algoritmo di compressione di Lempel-Ziv

Lezione n. 19 - Tuesday 11 May 2010

Implementazione di vari modelli di canale: BSC (binary simmetric channel), BEC (binary eraser channel), Z (zeta channel), NT (noisy typewriter), ZFF (Zeta Finite Field). Implementazione del decoder iterativo di Gallagher.

Lezione n. 20 - Wednesday 12 May 2010

Proprieta' di base dell'entropia. Definizione di Entropia condizionata. Definizione di mutua informazione. Proprieta' della mutua informazione. Modelli di canale. BSE, Z, BEC, NT. Mutua Informazione Condizionata

Lezione n. 21 - Tuesday 18 May 2010

Canale discreto senza memoria. Informazione trasprtata da un canale. Mutua informazione.

Lezione n. 22 - Wednesday 19 May 2010

Capacita' del canale. Massimizzare la mutua informazione. Calcolo esplicito della mutua informazione nel caso dei principali modelli di canale. Definizione di canale a blocchi. Definizione di probabilita' di errore nel blocco. Probabilita' massima di errore nel blocco. Decodifica ottimale. Decodifica per massima verosimiglianza (MAP). Probabilita' di errore nel bit. Teorema di Shannon per il canale con rumore. Esempi in cui e' semplice verificare il teorema.

Lezione n. 23 - Tuesday 25 May 2010

Debugging del programma per la decodifica di Tanner negli LDPC codes. Discussione sulla decodifica iterativa degli LDPC.