Μέτρα πληροφορίας. Εντροπία διακριτών πηγών. Κυρτότητα. Μονότονες και συνεχεία ιδιότητες. Αμοιβαία πληροφορία. Απόσταση KL. Πίνακες Toeplitz και το θεώρημα του Szego.  Χωρητικότητα διαύλου. Δίαυλοι Gauss. Συμπίεση πληροφορίας. Θεωρήματα Shannon-McMillan και Birkhoff-Khintchine. Θεωρία κωδικοποίησης. Κώδικες Shannon. Κώδικες Hufman. Κωδικοποίηση Lempel-Ziv.