Descriptif
L’objectif de ce cours est de fournir une introduction aux modèles probabilistes utilisés dans
des applications de traitement automatique d’informations non structurées (textes,
enregistrements audio), ainsi qu’aux principales méthodes d’estimation et d’inférence pour
ces modèles.
Diplôme(s) concerné(s)
Format des notes
Numérique sur 20Littérale/grade réduitPour les étudiants du diplôme Data Sciences
Le rattrapage est autorisé (Max entre les deux notes)- Crédits ECTS acquis : 2.5 ECTS
Programme détaillé
1. Introduction
Classification de documents
Modèles graphiques orientés
2. Les modèles de thèmes
Mélange de lois multinomiales
Algorithme EM
Modèle PLSA
Modèle LDA
3. Les modèles structurés
Dépendances linguistiques, structures dans les modèles graphiques
Retour sur les HMM
Modèles d’alignements IBM1, IBM2
4. Les modèles conditionnels
Régression logistique et maximum d’entropie
Champs Aléatoires Conditionnels : CRF
5. Inférence exacte
Elimination des variables
Passage de messages
Algorithme de l’arbre de jonction
6. Inférence approchée: méthodes variationnelles
Propagation de croyances dans des graphes cycliques
Principes de l’inférence variationnelle
Application à LDA
7. Inférence approchée: échantillonnage
Principe des méthodes d’échantillonnage
Application au mélange de lois multinomiales
Application à LDA
