Archive 2022
PrérequisOptimisation M1
ValidationCC+examen
EnseignantGuillaume Garrigos
Horaires hebdomadaires 2 h CM
Années M2 Mathématiques et Informatique pour la Science des Données

Syllabus

Maîtrise des techniques d'optimisation utilisées en Machine Learning

Sommaire

Le premier cours du 8 septembre sera exceptionnel à plusieurs niveaux:

  • La salle sera l'Amphi 4C de la Halle aux Farines (et non pas 12E comme pour le reste du cours).
  • Le cours sera exceptionnellement effectué en demi-groupes : le premier groupe aura cours de 08:15 à 09:40, le second groupe de 09:50 à 11:15.
  • Ici premier/second groupes sont constitués sur la base de la première lettre du nom de famille: le premier groupe correspond aux lettres A->K et le second groupe aux lettres L->Z.

Tous les étudiants qui assistent au cours doivent aller visiter la page Moodle du cours et s'inscrire sur le formulaire Sciences > Mathématiques Grands Moulins > Masters Mathématiques et applications > M2 - Modélisation Aléatoire, Finance et Data Science > MA8CY010 Optimisation pour l'apprentissage

https://moodle.u-paris.fr/course/view.php?id=6146

  1. Méthodes déterministes pour la minimisation d'une fonction
    • Algorithme du gradient. Cas convexe, fortement convexe, non-convexe. Convergence et vitesses.
    • Algorithme proximal et gradient-proximal. Convergence et vitesses. Exemple: apprentissage de dictionnaire.
    • Méthodes inertielles. Vitesse de convergence optimale.
  2. Méthodes incrémentales et stochastiques pour la minimisation d'une somme de fonctions
    • Résolution de systèmes linéaires de grande taille. Rappels sur les méthodes déterministes (gradient conjugué, quasi-Newton). Algorithme de Kaczmarz.
    • Algorithme du gradient incrémental/stochastique. Etude de la convergence. Propriété de régularisation itérative.
    • Algorithmes stochastiques à variance réduite. Vitesse de convergence optimale.
  3. Problèmes de point-selle. Liens avec les problèmes génératifs. Difficultés et résolution dans le cas monotone.

Bibliographie

  • Borwein, J.M. & Lewis, A.S. (2006). Convex Analysis and Nonlinear Optimization: Theory and Examples. Springer.
  • Nesterov Y. (2004). Introductory lectures on convex optimization. Springer.
  • Peypouquet P. (2016). Convex Optimization in Normed Spaces. Springer