Descriptif

De nombreux algorithmes de Machine Learning permettent d'extraire de l'information des données. La compréhension théorique de ces algorithmes amène le statisticien à choisir en connaissance de cause les meilleures méthodes pour traiter un problème spécifique. Elle permet également d'étudier les limites de certaines approches et de proposer des solutions adéquates pour les dépasser. C'est pour toutes ces raisons que la recherche théorique en Machine Learning est désormais un enjeu majeur.

L'objectif de cet EA est d'introduire les problématiques mathématiques associées à l'apprentissage statistique, ainsi que les grandes familles d'outils permettant d'aborder ces questions. Nous étudierons en détail les estimateurs à moyennes locales, en effectuant un détour du côté des classifieurs linéaires.

Nous nous placerons du point de vue de la prédiction et développerons notamment des méthodes de décomposition biais-variance du risque, l'approche par inégalité oracle ainsi que les outils de concentration de la mesure. Nous illustrerons également ces notions sur machine.