ValidationCC+examen
EnseignantPascal Molin
Horaires hebdomadaires 2.0 h CM , 3.0 h TD
Années M1 Mathématiques et Informatique M1 Mathématiques et Informatique M1 Logos M1 MIC

Syllabus

Le cours s'articule autour de trois résultats fondateurs de Claude Shannon. Ce sont trois théorèmes mathématiques portant sur des problèmes de numérisation optimale et de transmission de l'information.

Le premier théorème s'intéresse à la compression des données : si on veut numériser un document, il est intuitivement clair qu'on va gagner en espace de stockage en codant de façon plus courte les caractères les plus fréquents et de façon plus longue les moins fréquents. Cette fréquence des caractères nous fera introduire le langage des probabilités et d'entropie de Shannon.

Le deuxième théorème s'intéresse à la transmission (ou stockage) sans pertes des données. On démontre qu'en introduisant un peu de redondance dans un document numérisé, on peut le retrouver malgré la perte aléatoire d'une partie de l'information. C'est encore ici le langage des probabilités qui est utilisé. En plus de l'entropie, apparaît ici la notion de capacité d'un canal de transmission.

Le troisième est le théorème d'échantillonnage. Une information peut être une fonction d'une variable réelle. Le théorème d'échantillonnage nous explique comment, en prenant la valeur de cette fonction en un nombre fini de points, on peut reconstruire l'information. On tient compte pour cela des fréquences de notre fonction. L'analyse faite ici est basée sur la théorie des séries de Fourier.

Sommaire

  • Notions de probabilités discrètes et continues
  • Entropie, information mutuelle.
  • Premiers théorèmes de Shannon
  • Séries de Fourier
  • Le théorème d'échantillonnage

Bibliographie

  • T. Cover, and J. Thomas (2006). Elements of Information Theory, Wiley & Sons, 2e édition.
  • H. Dym, H. P. McKean, (1972). Fourier series and integrals. Academic Press.
  • C. Shannon (2018). La théorie mathématique de la communication. coll. Le sel et le fer, Cassini, 2018. Traduction de A mathematical theory of communication, The Bell System Technical Journal, vol. 27, p. 379–423, 623–656, 1948.
  • C. Shannon (1949). Communication in the presence of noise , Proc. of the IRE, vol. 37, p. 10–21, 1949. Réimprimé dans Proc. of the IEEE, vol. 86, p. 447--458, 1998.