Thèse “Sécurisation de l’apprentissage fédéré par désapprentissage” F/HOrange Innovation (Orange Labs), Châtillon, 92320https://orange.jobs/jobs/v3/offers/124864?lang=FRhttps://orange.jobs/jobs/v3/offers/124864?lang=EN
Votre rôle est d’effectuer un travail de thèse sur la : « Sécurisation de l’apprentissage fédéré par désapprentissage »
- Contexte global
La cybersécurité est devenue un enjeu majeur dans un monde de plus en plus digital. En effet, les cyberattaques se multiplient aussi bien contre les grands groupes que les particuliers. Ces attaques sont de plus en plus sophistiquées et menacent désormais les modèles de Machine Learning (ML) [1]. Les chercheurs ont ainsi montré la vulnérabilité du ML et la nécessité de les sécuriser [2].
Parmi ces attaques contre le ML, nous pouvons citer l’attaque par empoisonnement où l’attaquant introduit ou modifie des données d’apprentissage afin de corrompre le modèle de la victime. L’attaquant peut ainsi introduire une porte dérobée dans le modèle afin qu’en présence d’un motif (pattern) le comportement du modèle change conformément à son objectif [3]. Par exemple, pour une voiture autonome, l’attaquant pourrait tromper l’IA en apposant un auto-collant vert sur un panneau « stop » pour qu’il soit reconnu comme une limitation à 90 km/h. Pour cela, il lui suffirait de modifier la base d’apprentissage en introduisant des images d’un panneau « stop » avec le label « stop » (données saines) accompagnées de ces mêmes images mais après ajout d’un petit carré vert avec le label « 90 » (données malveillantes).
S’il est difficile à un attaquant d’avoir un accès privilégié à une base d’apprentissage, il lui en revanche plus facile d’introduire ses données malveillantes dans un contexte d’apprentissage collaboratif (AC).
Dans le domaine de l’AC, l’apprentissage fédéré (AF) est un nouveau paradigme de ML permettant à des participants de collaborer pour apprendre un modèle global tout en garantissant la confidentialité des données [4]. Ainsi, au lieu de partager leurs données, les participants partagent les paramètres de leurs modèles. Cette approche connait actuellement un large intérêt notamment chez Orange. Toutefois, elle est plus vulnérable au risque d’attaques par empoisonnement du fait de la probabilité d’avoir un attaquant parmi la diversité des participants [5].
La particularité des portes dérobées est qu’elles sont introduites en modifiant subtilement la base d’apprentissage. Il est donc difficile de les détecter lors de l’apprentissage et elles sont souvent découvertes en production. L’apprentissage étant un processus coûteux, il n’est pas envisageable de supprimer le modèle. Il est donc nécessaire de désapprendre la contribution des attaquants [6,7,8].
- Objectif scientifique
L’objectif de la thèse est de proposer de nouveaux algorithmes de désapprentissage pour l’AF. Pour cela, il sera nécessaire de bien comprendre les mécanismes d’attaque contre l’AF et le ML afin de développer un framework permettant de reproduire ces attaques. Les principaux verrous à lever seront :
- la détection d’une attaque et des attaquants [9],
- la suppression de la contribution d’un participant dans un modèle (désapprentissage)
Références[1] https://www.microsoft.com/en-us/security/blog/2020/10/22/cyberattacks-against-machine-learning-systems-are-more-common-than-you-think/[2] Enisa, “Securing Machine Learning Algorithm”, 2021, https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms[3] Schwarzschild at al., “Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks”, 2020[4] McMahan et al., “Communication-Efficient Learning of Deep Networks from Decentralized Data”, 2016[5] Bagdasaryan et al., “How To Backdoor Federated Learning”, 2018[6] Fraboni et al., “Sequential Informed Federated Unlearning: Efficient and Provable Client Unlearning in Federated Optimization”, 2022[7] Liu et al., “Federated Unlearning”, 2020[8] Halimi et al., “Federated Unlearning: How to Efficiently Erase a Client in FL?”, 2022[9] Chen et al., “Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering”, 2018