Descriptif

Objectifs 

- Maîtriser les outils mathématiques pour la construction d'algorithmes d'optimisation convexe. - Savoir démontrer la convergence des itérées. - Savoir résoudre numériquement des problèmes d'optimisation comportant des termes de régularisation non dérivables et structurés. - S'initier à l'optimisation distribuée et la programmation sous Hadoop Spark. 

Descriptif du cours 

Le cours n'a PAS vocation à fournir un répertoire d'algorithmes le plus abondant possible. Il s'agit de prendre du recul afin de comprendre les fondements mathématiques pour la construction d'une vaste classe de méthodes itératives. Après une introduction à la théorie de l'analyse convexe, nous verrons les conditions sous lesquelles on peut démontrer la convergence d'un algorithme du point fixe. Cette approche générale permet de d'obtenir, comme corollaire, la convergence de l'emblématique algorithme du gradient proximal. Elle permet également de construire d'autres algorithmes plus généraux : les méthodes primales- duales. Ces méthodes permettent de résoudre des problèmes d'optimisation comportant des régularisations complexes et structurées, ou des problèmes d'optimisation sous contraintes. De tels problèmes se rencontrent fréquemment en apprentissage statistique, traitement du signal, et traitement de l'image. 

Sur le plan pédagogique, un juste compromis entre fondements théoriques et applications est visé. Deux TP permettront de mettre en application les méthodes numériques vues en cours. Ils incluent une initiation à l'optimisation distribuée et grande échelle, sous Hadoop Spark. 

Prérequis : pas de prérequis à l'exception des connaissances élémentaires en analyse convexe : fonctions et ensembles convexes, minimiseurs. Le premier cours est consacré à des rappels. 

Note finale : 3/4 examen (3h), 1/8 travail en séance de TP, 1/8 compte-rendu de TP. 

Polycopié : https://datascience-x-master-paris- saclay.fr/lms/pluginfile.php/122/mod_page/content/23/m2ds_30_11_2017.pdf 

Exercices : https://datascience-x-master-paris- saclay.fr/lms/pluginfile.php/122/mod_page/content/23/td2017.pdf