Descriptif
Syllabus pour le cours de Théorie de l'apprentissage statistique avancé.
L’objectif de ce cours est de fournir une introduction théorique rigoureuse au domaine de l’apprentissage statistique. Il abordera plusieurs thèmes dans les cadres supervisé et non supervisé. Les méthodes non asymptotiques d’extraction d’informations en contexte aléatoire seront étudiées à l’aide d’outils issus des probabilités, des statistiques, des perturbations et de l’optimisation.
Ce cours est fortement orienté sur la théorie mais quelques cours pratiques sur R ou Pyrton seront lors des PC
Langue du cours : Français, slides en Anglais
Objectifs pédagogiques
-
Formuler les problèmes d’apprentissage dans un cadre mathématique rigoureux.
-
Caractériser et mesurer la complexité intrinsèque de ces problèmes.
-
Analyser les erreurs d’apprentissage sous un angle théorique.
-
Exploiter les connaissances préalables pour concevoir et améliorer des modèles plus performants.
effectifs minimal / maximal:
/50Diplôme(s) concerné(s)
- MScT-Internet of Things : Innovation and Management Program (IoT)
- Programmes d'échange internationaux
- M1 IES - Innovation, Entreprise et Société
- Titre d’Ingénieur diplômé de l’École polytechnique
- MScT-Artificial Intelligence and Advanced Visual Computing
- M1 MJH - Mathématiques Jacques Hadamard
- MScT-Trust and Responsible AI
Parcours de rattachement
Pour les étudiants du diplôme MScT-Internet of Things : Innovation and Management Program (IoT)
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Pour les étudiants du diplôme Programmes d'échange internationaux
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Pour les étudiants du diplôme M1 IES - Innovation, Entreprise et Société
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Pour les étudiants du diplôme Titre d’Ingénieur diplômé de l’École polytechnique
Il est nécessaire d'avoir suiv au moins un cours parmi MAP432, MAP433
Pour les étudiants du diplôme MScT-Artificial Intelligence and Advanced Visual Computing
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Pour les étudiants du diplôme M1 MJH - Mathématiques Jacques Hadamard
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Pour les étudiants du diplôme MScT-Trust and Responsible AI
Les étudiants doivent posséder de solides bases en mathématiques, incluant une bonne connaissance des notions fondamentales de théorie des probabilités (propriétés élémentaires des probabilités, telles que les inégalités de Boole, l'espérance conditionnelle, les inégalités de base comme celles de Markov et de Jensen), de statistiques (intervalles de confiance, tests d’hypothèses) et d’algèbre linéaire (géométrie euclidienne, décomposition en valeurs et vecteurs propres) ainsi que d’analyse (inégalités de Cauchy–Schwarz et de Hölder).
Format des notes
Numérique sur 20Littérale/grade réduitPour les étudiants du diplôme M1 MJH - Mathématiques Jacques Hadamard
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 5 ECTS
Pour les étudiants du diplôme MScT-Trust and Responsible AI
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 4.5 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme Programmes d'échange internationaux
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 5 ECTS
Pour les étudiants du diplôme MScT-Internet of Things : Innovation and Management Program (IoT)
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 4 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme MScT-Artificial Intelligence and Advanced Visual Computing
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 4 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme Titre d’Ingénieur diplômé de l’École polytechnique
Vos modalités d'acquisition :
Examens en classe et devoirs maison
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 5 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme M1 IES - Innovation, Entreprise et Société
Le rattrapage est autorisé (Note de rattrapage conservée)- Crédits ECTS acquis : 5 ECTS
Programme détaillé
I. Théorie de l’apprentissage statistique pour les problèmes supervisés
● Cadre d’apprentissage statistique
-
-
-
- Règle de décision de Bayes
- Minimisation du risque empirique
- Risque excédentaire
- Garanties PAC (*Probably Approximately Correct*)
-
-
● Théorie des processus empirique
-
-
-
- Inégalités de concentration
- Complexités de Rademacher
- Théorie VC
- Stabilité
- Chaînage de Dudley
- Condition de faible bruit et vitesses rapides
-
-
-
- Analyse statistique de quelques modèles d’apprentissage populaires
-
- Méthodes à noyaux (*Kernel Methods*)
- Boosting
- Machine à vecteurs de support (Support Vector Machine)
- Perceptron
-
- Analyse statistique de quelques modèles d’apprentissage populaires
II. Théorie de l’apprentissage statistique pour les problèmes non supervisés
-
- Analyse en composantes principales (ACP) & Analyse canonique des corrélations
-
- Analyse de perturbation
- Déviation des valeurs propres
- Estimation des sous-espaces propres
-
- Clustering
-
- Clustering spectral
- K-means
- Algorithme de Lloyd
-
- Analyse en composantes principales (ACP) & Analyse canonique des corrélations
III. Introduction à des thématiques contemporaines (Liste indicative de sujets, susceptible d’évoluer)
● Problèmes statistiques en grande dimension
-
- Compressed sensing
- Sur-apprentissage bénin (Benign overfitting)
- Apprentissage multi-tâches et méta-apprentissage
● Méthodes en ligne et bandits
-
- Bandits stochastiques
- Quantification de l’incertitude
- Prédiction conforme (Conformal Prediction)
- Apprentissage de distributions