Descriptif

L’aléa joue un rôle déterminant dans des contextes variés et il est souvent nécessaire de le prendre en compte dans de multiples aspects des sciences de l’ingénieur, citons notamment les télécommunications, la reconnaissance de formes ou l’administration des réseaux. Plus généralement, l’aléa intervient aussi en économie (gestion du risque), en médecine (propagation d’une épidémie), en biologie (évolution d’une population) ou en physique statistique (théorie des transitions de phases). Dans les applications, les données observées au cours du temps sont souvent modélisées par des variables aléatoires corrélées dont on aimerait prédire le comportement. L’objet de ce cours est de formaliser ces notions en étudiant deux types de processus aléatoires fondamentaux en théorie des probabilités : les chaînes de Markov et les martingales. Des applications variées seront présentées pour illustrer ces concepts.

Plan du cours :

1 - Définition des chaînes de Markov et premières applications : équation de la chaleur, ruine du joueur, problème de Dirichlet.

2 - Mesures invariantes : définitions, propriétés et exemples.

3 - Classification des états des chaînes de Markov. Application à la dynamique des populations (processus de branchement) et aux graphes aléatoires.

4 - Théorème ergodique et convergence des chaînes de Markov. Application à l'algorithme PageRank de Google.

5 - Algorithme stochastique de Hasting-Metropolis et recuit simulé. Applications en mécanique statistique et au traitement d'images.

6 - Martingales, temps d'arrêt et convergence.

7 - Applications des martingales aux processus de renforcement et à l'algorithme stochastique de Robbins-Monro.

8 - Stratégies, arrêt optimal et théorie du contrôle stochastique.


Référence bibliographique :
"Promenade aléatoire: chaînes de Markhov et martingales", Thierry Bodineau (2013)

Niveau requis : Bonne connaissance du cours de tronc commun MAP311.

Modalités d'évaluation : Un contrôle classant à la fin du cours. Une évaluation de présence et du travail fourni en Petite Classe.

Langue du cours : Français

Credits ECTS : 5