Face à la multiplication des angles d’attaque contre les systèmes d’IA, trouver des moyens durables et efficaces de les protéger presse. Si plusieurs pistes émergent, les recherches notamment sur la résilience des systèmes doivent s’intensifier.
Par Lola Breton
En août 2023, un groupe de chercheurs britanniques a publié une étude qui démontre la possibilité d’un nouvel usage malicieux de l’intelligence artificielle.1 Les trois chercheurs ont entraîné une IA à reconnaître, à travers un simple micro de téléphone, les différents sons émis par les touches de claviers d’ordinateurs, de différentes marques. L’IA était alors capable de reproduire l’ensemble du texte tapé à l’ordinateur dans plus de 90 % des cas. Une menace directe pour tous puisque cela permettrait notamment aux cybercriminels de récupérer des mots de passe, sans effort. Selon les auteurs de l’étude, certaines « techniques de mitigation » existent pour tenter d’éviter le problème. « L’utilisation de mots de passe aléatoires », pourrait aider, notent-ils face à la difficulté de détection de l’activation de la touche « shift ». Une solution d’identification à deux étapes semble toutefois la plus sécurisée.
La montée en puissance des systèmes d’intelligence artificielle – notamment des outils d’IA génératives – mène inévitablement vers une montée en capacité des cyber attaquants. Le dernier rapport X-Force Threat Intelligence Index d’IBM, paru en février 2024, « estime qu’une fois la domination du marché de l’IA générative établie – lorsqu’une seule technologie approchera les 50 % d’adoption ou lorsque le marché se consolidera à trois technologies ou moins – l’IA pourrait devenir une réelle surface d’attaque, mobilisant des investissements supplémentaires dans de nouveaux outils de la part des cybercriminels ». Une réalité qui arrivera bien assez tôt et qu’il convient donc de contrer dès aujourd’hui sur deux plans : la sécurisation des systèmes d’information contre les attaques menées grâce à l’intelligence artificielle et celle des outils d’IA développés en interne susceptibles d’être compromis par des cybercriminels. « On a mis de l’IA partout, mais on l’a protégé comme tous les autres systèmes alors que l’on peut attaquer ceux-là de mille manières différentes », regrette Françoise Soulié, directrice scientifique du Hub France IA. Pour y remédier, il faudrait mettre des moyens considérables dans la recherche dédiée à la défense des systèmes d’IA. « A chaque fois qu’un article de recherche sort sur l’intelligence artificielle, il explique comment attaquer mais pas comment défendre », note la chercheuse.
Penser une IA sécurisée pour contrer la multiplication des angles d’attaque
Les attaques qui s’appuient sur des technologies d’IA ont la capacité de faire des dégâts bien plus grands que ce que l’on connaît déjà. « Le vecteur principal de la cybercriminalité, c’est le phishing,note Nicolas Meyerhoffer, vice-président financial services chez IBM France. Cela reste la méthode privilégiée aujourd’hui. Dès qu’on a une IA, cela permet de générer des contenus de phishing avec une très grande qualité, personnalisés, personnalisés et crédibles. Ce qui entraîne davantage de réussite. » Mais le phishing pourrait devenir un vieux cauchemar avec la multiplication des attaques spéciales à l’encontre des IA. En janvier 2024, le NIST (National institute of standards and technology) a publié un rapport de 110 pages dans lequel il développe l’ensemble des attaques possibles connues contre les systèmes de machine learning. Pour Françoise Soulié, cela doit servir de signal d’alarme pour pousser la recherche sur de véritables outils de remédiation. « C’est le chat qui court après la souris mais la souris a pris énormément d’avance », image celle qui travaille sur l’intelligence artificielle depuis 1983. Parmi les éléments actuellement réfléchis, se trouve l’idée de secure AI. Une manière de rendre les systèmes sûrs by design.
Le Centre national britannique pour la cybersécurité (NCSC) a publié en novembre 2023 un ensemble de règles à suivre pour penser des IA sécurisées. Cela passerait par quatre étapes essentielles. D’abord, un secure design. Cela implique que toutes les parties prenantes soient sensibilisées aux risques liés à l’IA, mais surtout que toutes les menaces afférentes soient modélisées dans le système afin de savoir dès le départ ce que chacune d’elle impliquerait pour l’outil. En clair, chaque décision initiale doit être accompagnée de son pendant sécuritaire. Vient ensuite l’étape d’un secure development : supply chain sécurisée de bout en bout et transparence des données sont alors essentielles. Lors du déploiement, lui aussi secure, des outils de contrôle d’entrée doivent être mis en place. L’IA doit être protégée en continu, grâce aux outils connus de cybersécurité mais aussi en se tenant au fait des nouveaux moyens de remédiation spécifiques à l’IA développés avec le temps. Et lorsque vient l’étape opérationnelle et de maintenance, les administrateurs doivent, selon le NCSC, assurer un contrôle en continu du système et des données qu’il ingère. Chaque mise à jour logicielle doit également passer à travers toutes ces étapes sécurisées de développement.
Une définition précise du cadre
« La première chose fondamentale à faire lorsque l’on développe une IA, c’est de formaliser un cadre de stratégie et d’éthique. Il faut qu’il soit écrit noir sur blanc, sans aucune ambiguïté », explique Nicolas Meyerhoffer. IBM France conseille également d’avoir « un référentiel propre avec des droits et des habilitations pour gérer les outils » à un seul endroit. « C’est une plateforme qui sert aussi pour la maîtrise du risque », souligne l’expert. « Ensuite, il convient de mettre en place des outils de cybersécurité classiques qui permettent de sécuriser tout le processus de développement. En R&D, on met en place des méthodes de tests de modèles d’IA, notamment des tests d’intrusion », explique-t-il. Des préconisations de transparence et de prudence qui se doivent d’être appliquées autant lorsque le modèle est développé en interne que lorsqu’il est acquis auprès d’un tiers ou récupéré en open-source, et qui rejoignent le principe de Secure AI, poussé par des nombreux acteurs du secteur, comme Google, malgré une avancée plutôt lente.
« L’une de nos dernières études démontre que trois quarts des entreprises n’ont aucune composante de cybersécurité embarquée au départ de leurs projets IA. Il y a une urgence du sujet et une dissonance entre ce qui est discuté et la réalité opérationnelle », regrette Nicolas Meyerhoffer. Or, pour durer dans le temps, un système doit être résilient. Et l’intelligence artificielle ne déroge pas à cette règle. La résilience de ces systèmes tient à leur capacité à résister à des menaces, à s’adapter lorsque les données changent subitement et à se relever après des échecs. Selon le Dr Mohammad Al Hassan, directeur de projet en transformation numérique, une IA résiliente et agile est une IA dont les données sont diverses, qui apprend continuellement et de manière transverse et qui permet une « relation symbiotique avec les experts ».
Comme tous les outils, ceux qui fonctionnent grâce à l’IA sont faillibles. Parfois même dès leur entraînement. Ceux-ci peuvent subir des attaques adverses. « Cela consiste à changer très légèrement les données d’entrées pour que le comportement du système d’IA change fondamentalement », explique Bertrand Braunschweig, coordinateur scientifique du programme de recherche technologique français Confiance.ai. Une manière de s’en protéger est de « procéder à un apprentissage adverse, pour se construire une résistance », détaille-t-il. Pour contrer le scraping des IA sur leur travail, sans respect du droit d’auteur, plusieurs artistes ont adopté un outil qui s’appuie sur le principe d’une attaque par empoisonnement. Nommé Nightshade, ce logiciel piège les IA génératives à leur propre jeu en intégrant une marque indétectable sur les œuvres qu’il protège. Lorsque celles-ci sont récupérées par Chat GPT et consorts sans autorisation de l’artiste, elles sont alors automatiquement détournées. Les programmes voleurs se retrouvent alors avec une image complètement différente de celle qu’ils pensaient avoir réussi à scrapper.
Rendre les systèmes résilients by design
C’est en comprenant ces nouvelles attaques, et en entraînant les outils d’IA censés faire le bien sur ces bases qu’ils peuvent être rendus résilients. Faire de l’apprentissage adverse mais aussi de l’apprentissage ensembliste (utilisation de plusieurs algorithmes en commun et en simultané) et de l’apprentissage actif (le modèle cherche seul de nouvelles données pour s’alimenter). Le tout dans une démarche explicable : pour obtenir la confiance du public et la transparence nécessaire à la bonne gestion du système, son principe, son fonctionnement et son mode opératoire doivent être présentés de la manière la plus intelligibile possible pour l’utilisateur.
En clair, et c’est là le leitmotiv de Confiance.ai, pour être la plus sécurisée possible, une intelligence artificielle doit être « de confiance ». Pour Bertrand Braunschweig, cette confiance repose sur trois piliers. « D’abord, sur la technique. Une bonne IA doit être fiable, robuste, précise et sans biais. Il faut ensuite s’attacher aux interactions entre le système et les personnes. Il s’agit là de besoin de traçabilité, d’imperméabilité, de maintien du contrôle. Enfin, des critères sociaux doivent être pris en compte, notamment en termes d’équité et de durabilité, par exemple. » Tous ces éléments pourraient être regroupés sous un label IA de confiance – qui n’existe pas encore en tant que tel mais sur lequel les acteurs du sujet travaillent, y compris en collaboration avec des homologues étrangers. Confiance.ai, qui met sur pied des environnements logiciels permettant d’intégrer des applications d’IA de confiance disponibles en open source, travaille notamment avec VDE, en Allemagne, pour une labellisation franco-allemande des systèmes d’IA de confiance. A terme, et pour le plus de transparence possible, les agences nationales de sécurité des systèmes d’information devront peut-être être garantes d’un tel label.
1 Joshua Harrison, Ehsan Toreini and Maryam Mehrnezhad, “A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards”, 2023 IEEE European Symposium on Security and Privacy Workshops (EuroS&PW)
Photo : copyright Michael Dzeidzic