Second semestre

Période : janvier à avril.
Modalités : 4 cours au choix (3 ECTS chacun).

Algorithmes stochastiques : de la finance aux données massives

Responsable : Gilles Pagès
Modalités : 21h CM
Objectif : ce cours présent les principes mathématiques d’analyse des algorithme de gradient ou de pseudo-gradient stochastiques en apprentissage supervisé ou non supervisé.
Prérequis : notions fondamentales de probabilités à temps fixe et à temps discrets (martingales, chaîne de Markov).
Contenu :

  • Introduction à l’optimisation, algorithme de Newton-Raphson, descente de gradient.
  • Simulation versus data : un changement de paradigme.
  • Genèse d’un algorithmes stochastique : pourquoi et comment. Descente de Gradient stochastique (SGD).
  • Théorèmes de convergence : lemme de Robbins-Siegmund et application à la convergence p.s.
  • Autres modes de convergence, vitesse : principe de moyennisation de Ruppert & Pòliak.
  • Application aux réseaux de neurones : rétro-propagation du gradient, approximation universelle.
  • Apprentissage non supervisé : des k-means à la quantification optimale.
  • Algorithme de Langevin Monte Carlo.
  • Accélération d’une descente de gradient : SAGA, etc.

Analyse statistique de graphes

Responsables : Catherine Matias
Modalités : 30h CM
Objectif :

l’analyse statistique des réseaux d’interaction (ou graphes) connaît de nos jours un fort développement dans des domaines très variés (internet, biologie, réseaux sociaux, etc.) avec des données de bien plus grande taille (quelques centaines, milliers, voire millions de nœuds). L’objectif du cours est d’apprendre à manipuler et modéliser des données de type réseaux ainsi que de se familiariser avec des méthodes de classification et inférence statistique sur des graphes. De nombreux TP sous R permettront de pratiquer l’analyse de graphes et de mettre en œuvre les méthodes statistiques.
Prérequis : notions fondamentales de probabilités et statistique, connaissance du logiciel R.
Contenu :

  • Statistiques descriptives élémentaires des réseaux et visualisation.
  • Détection de communautés et de la classification des nœuds.
  • Modèles de graphes aléatoires et des méthodes d’inférence statistique.

Apprentissage automatique pour données médicales

Responsable : Xavier Tannier
Modalités : 30h CM
Objectif : le but de ce cours est double : d’une part, découvrir les défis réels de la biologie fondamentale et de la médecine où l’apprentissage statistique est déjà utilisé avec succès ; d’autre part, acquérir les bases pour modéliser des données médicales complexes.
Prérequis : notions fondamentales de probabilités et statistique, algèbre linéaire, Python.
Contenu :

  • Médecine et apprentissage statistique.
  • Clustering des données médicales : analyse exploratoire.
  • Stratification efficace des individus (patients) pour le développement des méthodes de médecine personnalisée.
  • Modèles interprétables.
  • A la recherche de la causalité dans des données (drug effects, variables latentes).

Approximation et traitement de données en grande dimension

Responsable : Albert Cohen
Modalités : 30h CM
Objectif : reconstruire une fonction inconnue à partir de données ponctuelles, exacte ou bruitées, est un problème mathématique rencontré dans une multitude de contextes applicatif. On peut citer l’interpolation ou l’apprentissage statistique à partir de données expérimentales, la mise au point de surfaces de réponses issues de codes numériques ou d’équations aux dérivées partielles. Ces tâches deviennent particulièrement délicates en grande dimension, les méthodes numériques classiques étant souvent mises en échec. Ce cours explorera les fondements mathématiques de ce problème aussi bien sous l’angle de la théorie de l’approximation, que de l’analyse numérique et des statistiques. Des développement récents permettant de traiter certains problèmes en grande dimension seront abordés.
Prérequis : notions fondamentales d’analyse fonctionnelle, approximation variationnelle des fonctions.
Contenu :

  • Théorie de l’approximation lineaire et non-linéaire.
  • Epaisseurs et entropies de Kolmogorov.
  • Interpolation, régression et méthodes de moindres carrés.
  • Approximation parcimonieuse en grande dimension.
  • EDP paramétriques et bases réduites.

Confidentialité et équité algorithmique

Responsables : Christophe Denis et Rafael Pinot
Modalités : 30h CM
Objectif : l’objectif de ce cours est de sensibiliser les étudiant⋅e⋅s aux enjeux de confiance liés à l’utilisation des algorithmes d’apprentissage automatique. Les défis liés à la confiance dans l’apprentissage automatique sont nombreux et concernent aussi bien le milieu de la recherche que le monde de l’entreprise (notamment en raison de la nouvelle réglementation européenne entrée en vigueur en 2018). Le cours est divisé en deux parties, chacune abordant une thématique liée à l’apprentissage automatique de confiance. La première partie se concentre sur les questions relatives à la protection des données personnelles. La seconde partie fournit des outils de compréhension des problématiques de biais et d’équité algorithmique.
Prérequis : notions fondamentales de probabilités et statistique. Notions élémentaires d’apprentissage statistique et d’optimisation.
Contenu :

  • Confidentialité dans analyse statistique des bases de données (k-anonymat, confidentialité différentielle, etc).
  • Apprentissage supervisé sous contrainte de confidentialité différentielle.
  • Équité algorithmique en apprentissage statistique (parité statistique, parité statistique conditionnelle, etc).
  • Méthodes in-processing et post-processing pour l’équité algorithmique.

Inégalités de concentration

Responsables : Anna Ben-Hamou
Modalités : 24h CM
Objectif : en probabilités comme en statistiques, on est souvent amené à étudier les déviations dune variable aléatoire par rapport à son espérance. Alors que le théorème central limite nous renseigne sur les fluctuations asymptotiques, les inégalités de concentration fournissent des résultats non-asymptotiques (à n fixé). Les inégalités exponentielles classiques, comme l’inégalité de Hoeffding, concernent les sommes de variables indépendantes. Dans ce cours, nous verrons que le phénomène de concentration de la mesure apparaît aussi pour des fonctions bien plus complexes que la somme : « une variable qui dépend (de façon lisse) de beaucoup de variables indépendantes (mais pas trop de chacune d’entre elles) est essentiellement constante » (Michel Talagrand).
La théorie de la concentration trouve des applications dans de nombreux domaines, et le cours sera illustré par beaucoup d’examples issus de la physique statistique, mais aussi d’autres contextes comme l’apprentissage statistique, les matrices et graphes aléatoires, le mélange de chaînes de Markov, la théorie de l’information.
Prérequis : notions de base en probabilités et statistique.
Contenu :

  • Inégalités de Poincaré et de Sobolev.
  • Méthode entropique.
  • Méthode de transport.
  • Isopérimétrie.
  • Méthode de Stein.

Inférence géométrique

Responsables : Eddie Aamari
Modalités : 30h CM
Objectif : les données peuvent souvent être représentées par des nuages de points dans des espaces de grande dimension. En pratique, on constate que ces points ne sont pas distribués uniformément dans l’espace ambiant : ils se localisent à proximité de structures non-linéaires de plus petite dimension, comme des courbes ou des surfaces, qu’il est intéressant de comprendre. L’inférence géométrique, aussi appelée analyse topologique de données, est un domaine récent consistant en l’étude des aspects statistiques associés à la géométrie des données. Ce cours a pour but de donner une introduction à ce sujet en pleine expansion.
Prérequis : notions fondamentales de probabilités et statistique. Toutes les notions nécessaires de géométrie et de topologie seront introduites ou rappelées au fil du cours.
Contenu :

  • Introduction et motivations.
  • Estimation du support d’une densité.
  • Reconstruction de compact.
  • Distance à la mesure et inférence robuste.
  • Estimation de l’homologie d’une sous-variété.
  • Persistance topologique.
  • Graphes de Reeb et algorithme Mapper.
  • Page web du cours.

Méthodes de simulation pour les modèles génératifs

Responsable : Sylvain Le Corff
Modalités : 30h CM
Objectif : La simulation de variables aléatoires en grande dimension est un véritable défi pour de nombreux problèmes de machine learning récents et pour l’apprentissage de modèles génératifs profonds. Ce problème se rencontre par exemple dans un contexte bayésien lorsque la loi a posteriori n’est connue qu’à une constante de normalisation près, dans le cadre des auto encodeurs variationnels ou encore pour la métamodélisation de systèmes dynamiques complexes.
De nombreuses méthodes sont basées sur des approches de type “Importance Sampling” ou “Sequential Monte Carlo” dont nous rappelerons les éléments principaux. Pour surmonter les faiblesses inhérentes à ces méthodologies en grande dimension ou pour les modèles génératifs profonds (à base de réseaux récurrents, réseaux denses ou convolutifs), nous étudierons dans ce cours de récentes solutions en mettant l’accent sur les aspects méthodologiques. Le fonctionnement de ces méthodes sera illustré à l’aide de jeux de données publics pour des problématiques de “computer vision” et de prédictions de séries temporelles.
Prérequis : Notions fondamentales de probabilités et statistique ; notions concernant les méthodes de Monte Carlo et les chaînes de Markov. Notions concernant les méthodes de Monte Carlo.
Contenu :

  • Rappels sur les modèles de Markov cachés et leur inférence (score de Fisher, algorithme Expectation Maximization).
  • Méthodes de Monte Carlo séquentielles (filtrage et lissage)  pour les modèles à espace d’état.
  • Méthodes de Monte Carlo séquentielles variationnelles.
  • Flots normalisants et “neural importance sampling”.
  • Estimation variationnelle en ligne.

Modélisation et statistique bayésienne computationnelle

Responsable : Nicolas Bousquet
Modalités : 30h CM
Objectif : présenter d’une part les principales méthodologies de modélisation bayésienne appliquées à des problèmes d’aide à la décision en univers risqué sur des variables scalaires et fonctionnelles, et d’autre part des méthodes avancées de calcul inférentiel permettant l’enrichissement de l’information utile, en fonction de l’emploi et de la nature des modèles.
Prérequis : notions fondamentales de probabilités et statistique, introduction aux statistiques bayésiennes, méthodes de Monte-Carlo, calcul scientifique en R.
Contenu :

  • Formalisation et résolution de problèmes d’aide à la décision en univers risqué, représentation probabiliste des incertitudes (Cox-Jaynes, de Finetti).
  • Maximum d’entropie, familles exponentielles, modélisation par données virtuelles.
  • Règles d’invariance, de compatibilité et de cohérence pour les modèles bayésiens.
  • Algorithmes de Gibbs via OpenBUGS, MCMC adaptatives, introduction aux chaînes de Markov cachées, méthodes de filtrage et approches « likelihood-free » (ABC).
  • Modélisation bayésienne fonctionnelle, processus gaussiens, calibration par expériences numériques, critères d’enrichissement bayésiens.

Optimisation stochastique, apprentissage PAC-Bayésien et inférence variationnelle

Responsable : Antoine Godichon-Baggioni et Badr-Eddine Chérief-Abdellatif
Modalités : 30h CM
Objectif : présenter et analyser de méthodes stochastiques pour l’optimisation numérique ; donner un aperçu de la théorie PAC-Bayésienne, en partant de la théorie de l’apprentissage statistique (bornes de généralisation et inégalités oracles) et en couvrant les développements algorithmiques par inférence variationnelle, jusqu’aux analyses PAC-Bayésiennes récentes des propriétés de généralisation des réseaux de neurones profonds.
Prérequis : notions fondamentales de probabilités et statistique, notions d’optimisation convexe, logiciel R ou Python.
Contenu :

  • Théorèmes de convergence pour les Martingales.
  • Algorithmes de gradient stochastiques et applications.
  • Généralisation en apprentissage statistique.
  • Théorie PAC-Bayésienne.
  • Inférence variationnelle.
  • Bornes de généralisation en apprentissage profond.

Programmation parallèle à grande échelle sur GPU pour les grandes masses de données

Responsable : Lokman Abbas Turki
Modalités : 15h TP
Objectif : ce cours introduit la programmation CUDA et présente des éléments d’optimisation mémoire et algorithmique pour le calcul massivement parallèle sur cartes graphiques.
Prérequis : notions fondamentales de probabilités et programmation C.
Contenu :

  • Le streaming multiprocessor et son interprétation en termes de blocks et de threads.
  • L’utilisation de la mémoire globale, shared, registres et constante pour une simulation Monte Carlo.
  • Locked, mapped memory & concurrency.
  • Batch computing et applications : tri fusion, algèbre linéaire, EDP.
  • Utilisation GPU pour un problème de deep learning.

Apprentissage statistique moderne

Responsable : Eddie Aamari, Claire Boyer, Ismaël Castillo, Étienne Roquain,
Modalités : 30h CM
Objectif : ce cours tentera de faire un tour d’horizon des dernières tendances mathématiques dans la communauté du machine learning et de l’apprentissage statistique.
Prérequis : notions fondamentales de probabilités et statistique.
Contenu :

  • Théorie de l’approximation pour les réseaux de neurones
  • Dimension VC pour les réseaux de neurones
  • Bornes minimax pour la régression avec réseaux de neurones
  • GANs
  • Biais implicite des descentes de gradient
  • Interpolation & overfitting bénin
  • Confidentialité