Thèse – Page 32 – M2 Apprentissage et Algorithmes (M2A)

Stability and robustness of Deep Learning models to process video from thermal cameras

The PhD position is funded by Foxstream, a software company, founded in 2004, that specializes in real-time automated processing of video content analysis. The PhD thesis is a collaboration with Dauphine Université (the MILES team of the LAMSADE) with a join supervision (Quentin Barthélemy from Foxstream and Alexandre Allauzen from MILES).

For a couple of decades, Deep Learning (DL) added a huge boost to the already rapidly developing field of computer vision. While for some kind of data and tasks, DL is the most successful approach, this is not the case for all applications. For instance, the analysis of video streams generated by thermal cameras is still a research challenge because of the long range perimeter and the associated geometrical issues, along with the frequent calibration change. Therefore, the stability and robustness of DL models must be better characterized and improved. The goal of the PhD is to design a Deep architecture that can explicitely deal with these peculiarities, along with providing theoritical guarantees on the stability of the prediction and the underlying invariances.

The recent work of [1] proposes an interesting mathematical tool to charaterize the stability and the generalization capacity of convolutional network. This paper is important to better explain the lack of robustness of the DL models to some kind of examples like adversarial ones [2].

The PhD student will be host in Paris (France)in Dauphine Université and frequent meeting will be scheduled to ensure a tight collaboration with the team at Foxstream. The PhD can start in January 2021 and the position is open until it is filled.

Requirements:
– Outstanding master’s degree (or an equivalent university degree) in computer science or another related disciplines (as e.g. mathematics, information sciences, computer engineering, etc.).
– Proficiency in machine learning, computer vision, or signal processing. – Fluency in spoken and written English is required.
Application:
To apply, please email alexandre.allauzen [at] dauphine.psl.eu with:
– a curriculum vitae, with contact of 2 or more referees
– a cover letter
– a research outcome (e.g. master thesis and/or published papers) of the candidate
– a transcript of grades

[1] A. Bietti and J. Mairal, Group Invariance, Stability to Deformations,and Complexity of Deep Convolutional Representations, in JMLR 2019. http://www.jmlr.org/papers/volume20/18-190/18-190.pdf

[2] Szegedy et al, Intriguing properties of neural networks, https://arxiv.org/abs/1312.6199, 2013

https://www.foxstream.fr/

https://www.lamsade.dauphine.fr/wp/miles/

L’IRT Saint Exupéry propose un sujet de thèse en optimisation sous incertitudes pour la conception avion :

Titre : « Développement d’une formulation bi-niveau sous incertitudes pour l’optimisation de conception multidisciplinaire d’un avion »
Sujet de thèse : vous trouverez la fiche de poste à cette adresse et le sujet de thèse détaillé en fin de message
Mots-clés : incertitudes, statistiques, optimisation, optimisation robuste, optimisation multidisciplinaire, modèle de substitution, machine learning, aéronautique
Quand : dès à présent
Où : IRT Saint Exupéry, Toulouse
Encadrement de thèse : Olivier Roustant, professeur à l’INSA Toulouse, sera le directeur de thèse ; Matthias De Lozzo, ingénieur de recherche à l’IRT Saint Exupéry, sera le co-encadrant côté IRT Saint Exupéry.
Candidater : Si cette offre vous intéresse, merci d’adresser votre dossier de candidature (LM+CV) à recrutement@irt-saintexupery.com sous la référence : 20D-ISM-REV-01

En quelques mots : Au sein du pôle Optimisation de Conception Multidisciplinaire du domaine Modélisation & Systèmes Embarqués, le projet R-EVOL vise notamment à quantifier et gérer les incertitudes intervenant dans le processus de conception d’un avion afin de fournir une solution robuste et fiable au problème de conception multidisciplinaire. Le/La doctorante aura pour mission principale de concevoir une formulation MDO bi-niveau sous incertitudes dans un contexte à la fois académique et industriel. Cette formulation devra être efficace eu égard aux coûts de calcul des différents simulateurs disciplinaires limitant leur nombre d’exécutions. Ses activités consisteront à :

Mener un état de l’art croisé, mêlant optimisation (MDO, optimisation robuste et MDO robuste), quantification et gestion des incertitudes et modèles de substitution, en tenant compte à la fois des contraintes industrielles pilotant ce projet, qu’elles soient liées au nombre limité d’évaluations des simulateurs numériques ou à la grande dimension des cas d’utilisation, et de possibles facilités, comme la prise en compte de l’adjoint de certains codes de calcul ou l’aspect semi-intrusif d’autres.
Définir une formulation bi-niveau MDO sous incertitudes faisant face à la multiplicité des problèmes de MDO robustes, les incertitudes pouvant intervenir autant au niveau des paramètres de conception que des variables de couplage ou des paramètres exogènes, et impacter tant la fonction objectif que les contraintes.
Améliorer la robustesse des solutions proposées, en tenant compte d’informations supplémentaires comme la disponibilité du gradient pour certaines disciplines ou l’aspect semi-intrusif de certains simulateurs numériques.
Éprouver l’ensemble de la méthodologie sur un cas d’utilisation simplifié, dimensionnant et suffisamment représentatif, favorable à l’étude théorique de convergence des algorithmes.
Disséminer les résultats par le biais de conférences internationales et de publications dans des journaux à comité de lecture.

Les travaux seront implémentés dans le logiciel GEMS développé à l’IRT Saint Exupéry et appliqués à la conception avion, en lien direct avec les acteurs industriels.

Contexte

L’Institut de Recherche Technologique Antoine de Saint Exupéry vise à renforcer la compétitivité de la recherche et de l’industrie en Occitanie, Nouvelle Aquitaine et Provence-Alpes-Côte d’Azur dans les secteurs de l’aéronautique, du spatial, et des systèmes embarqués. Financé à 50% par le secteur public et à 50% par le secteur privé, il réunit les grands industriels de la région des secteurs concernés, les établissements publics et leurs laboratoires pour travailler dans trois domaines technologiques stratégiques : matériaux multifonctionnels haute performance, aéronef plus électrique, systèmes embarqués.

Dans le cadre du projet R-EVOL porté par le pôle Multidisciplinary Design Optimisation (MDO) du domaine Systems Engineering & Modelisation, l’IRT Saint Exupéry s’intéresse à la quantification et à la gestion des incertitudes (UQ&M – Uncertainty Quantification & Management) intervenant dans l’optimisation de la conception multidisciplinaire d’un avion. Ces incertitudes peuvent être liées à la maturité des données, aux connaissances du cahier des charges à un instant donné, aux hypothèses de modélisation ou encore aux méthodes numériques. Parfois, ces incertitudes peuvent aussi intervenir dans la chaîne de fabrication, donnant lieu à un concept usiné légèrement différent du concept optimal au sens du problème MDO. La propagation de ces incertitudes affecte tout le processus MDO, des évaluations des disciplines (structure, aérodynamique, mission de l’avion) jusqu’à la fonction coût et aux contraintes, en passant par les couplages disciplinaires. Face à ces multiples flux d’incertitudes, le concept multidisciplinaire optimal doit non seulement minimiser une fonction coût en respectant différentes contraintes, mais aussi garantir robustesse et fiabilité de la solution, un optimum robuste assurant la stabilité de la fonction coût par rapport aux incertitudes tandis qu’un optimum fiable garantit la satisfaction des contraintes avec une probabilité élevée.

Le sujet de thèse se situe dans ce cadre mêlant MDO et UQ&M. Les activités de doctorat seront menées à l’IRT Saint Exupéry (Toulouse, France), au sein de l’équipe du projet R-EVOL.

Sujet de thèse

Les formulations MDO consistent à organiser le processus multidisciplinaire, défini par la séquence d’exécution des disciplines et l’échange des données, conjointement avec le problème d’optimisation à résoudre, défini par une fonction coût, des contraintes et des paramètres de conception [Lambe & Martins, 2013]. Ces paramètres peuvent être associés à une seule discipline ou à plusieurs ; dans le premier cas, on les appelle paramètres de conception locaux et dans le second, paramètres de conception globaux. Les formulations MDO portent plus particulièrement sur la gestion du couplage entre les disciplines afin de garantir la faisabilité disciplinaire de la solution multidisciplinaire du problème MDO. Cette gestion peut avoir lieu au niveau disciplinaire, à travers une analyse multidisciplinaire orchestrée par une méthode de point fixe par exemple, garantissant ainsi la faisabilité à chaque itération de l’optimisation multidisciplinaire, ou bien au niveau de l’optimiseur, au moyen de contraintes de consistance et de paramètres de conception supplémentaires. L’influence des formulations MDO sur la solution numérique d’un problème MDO et sur la vitesse de convergence des algorithmes d’optimisation est importante. Par ailleurs, la communauté industrielle développe depuis des années des optimiseurs disciplinaires dont il est judicieux de tirer profit en optimisation multidisciplinaire par le biais de formulations multi-niveaux, comme la formulation bi-niveau développée par l’IRT Saint Exupery [Gazaix et al., 2019]. La formulation bi-niveau s’appuie sur un optimiseur de premier niveau qui gère les paramètres de conception globaux et un ou plusieurs optimiseurs de second niveau qui gèrent les paramètres de conception locaux. Selon la nature de ces optimiseurs et la dimension du problème, l’utilisateur peut choisir de distribuer de différentes façons les contraintes du problème MDO aux optimiseurs de premier et second niveaux.

En présence d’incertitudes, ces formulations MDO demandent à être revisitées afin de mener à une solution optimale robuste et fiable. La littérature sur le sujet porte essentiellement sur l’extension au cadre probabiliste de la formulation couplée MDF (Multi Discipline Feasible) et de la formulation découplée IDF (Individual Discipline Feasible) [Brevault, 2015], qui sont des formulations mono-niveau, aussi appelées formulations monolithiques. Disposant dans ce projet d’optimiseurs disciplinaires, on s’intéressera à étendre la formulation bi-niveau développée par l’IRT Saint Exupéry au domaine des incertitudes.

Il sera nécessaire pour cela de mener un état de l’art croisé, mêlant optimisation (MDO, optimisation robuste et MDO robuste), quantification et gestion des incertitudes et modèles de substitution. Cette étude bibliographique tiendra compte à la fois des contraintes industrielles pilotant ce projet, qu’elles soient liées au nombre limité d’évaluations des simulateurs numériques ou à la grande dimension des cas d’utilisation (dimension des variables de couplage, nombre de paramètres de conception, nombre de contraintes, …), et de possibles facilités, comme la prise en compte de l’adjoint de certains codes de calcul ou l’aspect semi-intrusif d’autres.

Le premier axe de la thèse consistera à définir une formulation bi-niveau MDO sous incertitudes. Toute la difficulté vient de la multiplicité des cas possibles, les incertitudes pouvant intervenir autant au niveau des paramètres de conception que des variables de couplage ou des paramètres exogènes. Cette multiplicité donne lieu à plusieurs façons de poser le problème. Pour y parvenir, on commencera par le cas de fonctions non coûteuses mais suffisamment représentatives, favorable à l’étude théorique de convergence des algorithmes. Puis on l’étendra au cas de simulateurs numériques lourds, au moyen de techniques de métamodélisation (ou modèles de substitution), en lien avec le deuxième axe de la thèse. La dimensionnalité constitue une difficulté, et demandera d’utiliser des techniques de réduction de dimension [Thèse Romain Dupuis, 2019]. Cela nécessitera également d’étendre l’optimisation robuste basée sur des métamodèles au cadre multi-disciplinaire [Janusevskis et Le Riche, 2013]. On pourra aussi tenir compte de techniques de type multi-fidélité pour améliorer l’estimation des statistiques associées aux fonction objectif et contraintes, et l’estimation de l’optimum au sens MDO [Peherstorfer, 2018].

Le deuxième axe visera à améliorer la robustesse des solutions proposées, en tenant compte d’informations supplémentaires. L’utilisation du gradient, fourni par certaines disciplines, est toujours un axe actif de recherche en métamodélisation que ce soit pour les processus gaussiens [Laurent et al., 2019] ou les polynômes de chaos [Roustant et al., 2020]. De même, en présence de simulateurs numériques semi-intrusifs, l’utilisation de polynômes de chaos intrusifs pourrait être considérée.

Le troisième axe visera à améliorer la robustesse des solutions proposées, en élargissant le cadre de définition des incertitudes. Une piste possible serait d’étendre des techniques d’analyse de sensibilité au cadre de la MDO sous incertitudes. L’ambition est de considérer le cadre réaliste où les lois de probabilités quantifiant l’incertitude sont mal connues, par exemple définies seulement par des contraintes de moments [Stenger et al., 2019]. On pourra aussi prendre en compte la dépendance stochastique des paramètres incertains [Gamboa et al., 2020].

On éprouvera l’ensemble de la méthodologie sur un cas d’utilisation simplifié mais dimensionnant.

Ces travaux seront menés en interaction avec l’ensemble des activités UQ&M du projet R-EVOL. Ils seront implémentés dans GEMS (Generic Engine for MDO Scenarios), une librairie Python développée à l’IRT Saint Exupéry [Gallard et al., 2019], et appliqués à un cas industriel. Les résultats scientifiques seront disséminés par le biais de communications dans des conférences internationales et de publications dans des journaux à comité de lecture.

Références

[Brevault, 2015] Brevault, L. Contributions to Multidisciplinary Design Optimization under uncertainty, application to launch vehicle design. Thèse. Ecole Nationale Supérieure des Mines de Saint-Etienne (2015).
[Dupuis, 2019] Surrogate models coupled with machine learning to approximate complex physical phenomena involving aerodynamic and aerothermal simulations. Thèse. Institut National Polytechnique de Toulouse (2019).
[Gallard et al., 2019] Gallard, F., Barjhoux, P-J. et al. GEMS, a Generic Engine for MDO Scenarios: Key Features In Application. In AIAA Aviation 2019 Forum, June 2019, Dallas, USA (2019).
[Gamboa et al., 2020] Gamboa F., Gremaud P., Klein T., Lagnoux A., Global Sensitivity Analysis: a new generation of mighty estimators based on rank statistics, 2020, Technical report, https://arxiv.org/abs/2003.01772
[Gazaix et al., 2019] Gazaix, A., Gallard, F., Ambert, V. et al. Industrial Application of an Advanced Bi-level MDO Formulation to Aircraft Engine Pylon Optimization. In AIAA Aviation 2019 Forum, June 2019, Dallas, USA (2019).[Janusevskis et Le Riche, 2013] Janusevskis J., Le Riche, R. Simultaneous kriging-based estimation and optimization of mean response. Journal of Global Optimization, 55(2), 313-336 (2013).
[Lambda et Martin, 2013] Joaquim R. R. A. Martins and Andrew B. Lambe. Multidisciplinary Design Optimization: A Survey of Architectures. AIAA Journal, 51(9), pp. 2049-2075 (2013).
[Laurent et al., 2019] Laurent, L., Le Riche, R., Soulier, B. et al. An Overview of Gradient-Enhanced Metamodels with Applications. Arch Computat Methods Eng 26, pp. 61–106 (2019).
[Peherstorfer, 2018] Peherstorfer, B., Willcox, K., Gunzburger, M. Survey of Multifidelity Methods in Uncertainty Propagation, Inference, and Optimization. SIAM Review, 60(3), pp. 550-591 (2018).
[Roustant et al., 2020] O Roustant, F. Gamboa, B Iooss, Parseval inequalities and lower bounds for variance-based sensitivity indices, Electronic Journal of Statistics, 14(1), p. 386-412 (2020).
[Stenger et al., 2019] Stenger, J., Gamboa, F., Keller, M., Iooss, B. Canonical Moments for Optimal Uncertainty Quantification on a Variety. In International Conference on Geometric Science of Information, pp. 571-578 (2019).