Descriptif
Ce cours est une introduction à la statistique mathématique et à l'apprentissage statistique. On y apprend à choisir un modèle statistique, à estimer ses paramètres, à construire des régions de confiance et des tests, puis à comparer ces procédures entre elles : théorie de la décision, borne de Cramér-Rao, optimalité des tests, théorie asymptotique. Les trois derniers cours sont consacrés à l'apprentissage supervisé : règle de Bayes, approche par modélisation, minimisation du risque empirique, théorie PAC et dimension de Vapnik-Chervonenkis. Les notions sont mises en œuvre en petite classe sur des exemples concrets (traitement du signal et des images, économétrie, sciences de l'environnement, reconnaissance de formes) et en Python dans des devoirs maison et des explorations numériques.
Objectifs pédagogiques
Cet enseignement a trois objectifs. Le premier est d'introduire les outils de la statistique mathématique et de l'apprentissage statistique : choix d'un modèle, estimation des paramètres, inférence et choix de modèles ; l'élève apprend à construire des estimateurs, des tests et des règles de classification, et à évaluer les performances de ces règles, à l'aide d'outils théoriques comme la théorie de la décision et les processus empiriques. Le deuxième objectif est de décrire, en cours et en petite classe, des exemples concrets de modélisation dans divers domaines. Le troisième est de développer un savoir-faire pratique, en Python, qui montre comment les outils théoriques se mettent en œuvre sur des données.
Diplôme(s) concerné(s)
Pour les étudiants du diplôme Titre d’Ingénieur diplômé de l’École polytechnique
Cours de probabilités de première année (variables aléatoires, lois usuelles, espérance conditionnelle, convergences, vecteurs gaussiens), algèbre linéaire et calcul différentiel ; bases de Python.
Format des notes
Numérique sur 20Numérique sur 20Pour les étudiants du diplôme Titre d’Ingénieur diplômé de l’École polytechnique
Vos modalités d'acquisition :
Note classante : examen écrit final, aucun document autorisé. Note lettrée : examen écrit final (16/20) et contrôle continu, devoirs maison et explorations numériques (4/20).
Le rattrapage est autorisé (Max entre les deux notes)- le rattrapage est obligatoire si :
- Note initiale <
- le rattrapage peut être demandé par l'étudiant si :
- Note initiale <
- Crédits ECTS acquis : 4 ECTS
Le coefficient de l'UE est : 10
La note obtenue rentre dans le calcul de votre GPA.
La note obtenue est classante.
Pour les étudiants du diplôme Programmes d'échange internationaux
Le rattrapage est autorisé (Max entre les deux notes)- le rattrapage est obligatoire si :
- Note initiale <
- le rattrapage peut être demandé par l'étudiant si :
- Note initiale <
- Crédits ECTS acquis : 4 ECTS
Le coefficient de l'UE est : 10
La note obtenue rentre dans le calcul de votre GPA.
Programme détaillé
1. Modèles statistiques : expériences statistiques, modèles dominés, identifiabilité, n-échantillon, vecteurs gaussiens et modèle linéaire gaussien.
2. Estimation ponctuelle : méthode des moments, maximum de vraisemblance, divergence de Kullback-Leibler, théorème de Cochran.
3. Estimation optimale : théorie de la décision, risque, admissibilité, information de Fisher et borne de Cramér-Rao.
4. Régions de confiance et tests : fonctions pivotales, cas gaussien, formalisme des tests, approche de Neyman-Pearson, p-valeur.
5. Tests optimaux : tests uniformément plus puissants, théorème de Neyman-Pearson, rapport de vraisemblance monotone, interprétation des tests.
6. Statistiques asymptotiques : consistance, normalité asymptotique, méthode delta, régions de confiance et tests asymptotiques.
7. Théorie asymptotique des M- et Z-estimateurs : consistance, loi limite, efficacité asymptotique du maximum de vraisemblance.
8. Introduction à l'apprentissage statistique : cadre de l'apprentissage supervisé, perte et risque, règle de Bayes, approche par modélisation (analyse discriminante, modèle logistique, modèle linéaire gaussien).
9. Minimisation du risque empirique, sur-apprentissage, théorie PAC.
10. Théorie de Vapnik-Chervonenkis et garanties de généralisation.
Chaque cours est suivi d'une petite classe d'exercices. Deux devoirs maison (une partie « problème » et une partie numérique en Python) et trois explorations numériques en Python sont réalisés par groupes de trois tirés au sort.