Scolarité M2 (sauf MIC, MIDS)
- Mme Chatoux
- bureau 5055
- 01 57 27 93 06
- Mme Prudlo
- bureau 5055
- 01 57 27 93 06
Optimisation pour l'apprentissage
3 ECTS, semestre 1, 10 semaines
| Prérequis | Optimisation M1 |
| Validation | CC+examen |
| Enseignant | Guillaume Garrigos |
| Horaires hebdomadaires | 2 h CM |
| Années |
Syllabus
Maîtrise des techniques d'optimisation utilisées en Machine Learning
Sommaire
Le premier cours du 8 septembre sera exceptionnel à plusieurs niveaux:
- La salle sera l'Amphi 4C de la Halle aux Farines (et non pas 12E comme pour le reste du cours).
- Le cours sera exceptionnellement effectué en demi-groupes : le premier groupe aura cours de 08:15 à 09:40, le second groupe de 09:50 à 11:15.
- Ici premier/second groupes sont constitués sur la base de la première lettre du nom de famille: le premier groupe correspond aux lettres A->K et le second groupe aux lettres L->Z.
Tous les étudiants qui assistent au cours doivent aller visiter la page Moodle du cours et s'inscrire sur le formulaire Sciences > Mathématiques Grands Moulins > Masters Mathématiques et applications > M2 - Modélisation Aléatoire, Finance et Data Science > MA8CY010 Optimisation pour l'apprentissage
https://moodle.u-paris.fr/course/view.php?id=6146
- Méthodes déterministes pour la minimisation d'une fonction
- Algorithme du gradient. Cas convexe, fortement convexe, non-convexe. Convergence et vitesses.
- Algorithme proximal et gradient-proximal. Convergence et vitesses. Exemple: apprentissage de dictionnaire.
- Méthodes inertielles. Vitesse de convergence optimale.
- Méthodes incrémentales et stochastiques pour la minimisation d'une somme de fonctions
- Résolution de systèmes linéaires de grande taille. Rappels sur les méthodes déterministes (gradient conjugué, quasi-Newton). Algorithme de Kaczmarz.
- Algorithme du gradient incrémental/stochastique. Etude de la convergence. Propriété de régularisation itérative.
- Algorithmes stochastiques à variance réduite. Vitesse de convergence optimale.
- Problèmes de point-selle. Liens avec les problèmes génératifs. Difficultés et résolution dans le cas monotone.
Bibliographie
- Borwein, J.M. & Lewis, A.S. (2006). Convex Analysis and Nonlinear Optimization: Theory and Examples. Springer.
- Nesterov Y. (2004). Introductory lectures on convex optimization. Springer.
- Peypouquet P. (2016). Convex Optimization in Normed Spaces. Springer