Scolarité M2 (sauf MIC, MIDS)
- Mme Chatoux
- bureau 5055
- 01 57 27 93 06
- Mme Prudlo
- bureau 5055
- 01 57 27 93 06
Théorie de l'information
6 ECTS, semestre 1, 12 semaines
| Validation | CC+examen |
| Enseignant | Antoine Chambert-Loir |
| Horaires hebdomadaires | 2 h CM , 3 h TD |
| Années | M1 Mathématiques et Informatique M1 MIC |
Syllabus
Le cours s'articule autour de trois résultats fondateurs de Claude Shannon. Ce sont trois théorèmes mathématiques portant sur des problèmes de numérisation optimale et de transmission de l'information.
Le premier théorème s'intéresse à la compression des données : si on veut numériser un document, il est intuitivement clair qu'on va gagner en espace de stockage en codant de façon plus courte les caractères les plus fréquents et de façon plus longue les moins fréquents. Cette fréquence des caractères nous fera introduire le langage des probabilités et d'entropie de Shannon.
Le deuxième théorème s'intéresse à la transmission (ou stockage) sans pertes des données. On démontre qu'en introduisant un peu de redondance dans un document numérisé, on peut le retrouver malgré la perte aléatoire d'une partie de l'information. C'est encore ici le langage des probabilités qui est utilisé. En plus de l'entropie, apparaît ici la notion de capacité d'un canal de transmission.
Le troisième est le théorème d'échantillonnage. Une information peut être une fonction d'une variable réelle. Le théorème d'échantillonnage nous explique comment, en prenant la valeur de cette fonction en un nombre fini de points, on peut reconstruire l'information. On tient compte pour cela des fréquences de notre fonction. L'analyse faite ici est basée sur la théorie des séries de Fourier.
Sommaire
- Notions de probabilités discrètes et continues
- Entropie, information mutuelle.
- Premiers théorèmes de Shannon
- Séries de Fourier
- Le théorème d'échantillonnage
Bibliographie
- T. Cover, and J. Thomas (2006). Elements of Information Theory, Wiley & Sons, 2e édition.
- H. Dym, H. P. McKean, (1972). Fourier series and integrals. Academic Press.
- J.-P. Kahane, P.-G. Lemarié-Rieusset, (2017). Séries de Fourier et Ondelettes. coll. Nouvelle bibliothèque mathématique, Cassini.
- C. Shannon (2018). La théorie mathématique de la communication. coll. Le sel et le fer, Cassini, 2018. Traduction de A mathematical theory of communication, The Bell System Technical Journal, vol. 27, p. 379–423, 623–656, 1948.
- C. Shannon (1949). Communication in the presence of noise , Proc. of the IRE, vol. 37, p. 10–21, 1949. Réimprimé dans Proc. of the IEEE, vol. 86, p. 447--458, 1998.