Retour sur AI Safety Symposium : Quels sont les risques catastrophiques liés à l’utilisation des modèles de langage (LLM)

Introduction

Le 18 octobre 2024 s’est tenu le Paris AI Safety Symposium, où intervenaient Yoshua Bengio, Stuart Russell, et Dan Nechita, et auquel nous avons pu assister. L’IA est un domaine très dynamique, qui est soumis à un engouement comparable à peu d’autres innovations passées, et a la particularité d’être compris de façon très superficielle. Il relève donc d’une prévenance élémentaire d’interroger les zones de flous et les risques présents, mais surtout futurs que cette technologie pourrait introduire.

C’est la tâche que s’est donné le CeSIA (centre pour la sécurité de l’IA). Qui présentait à l’occasion de cet événement les premiers chapitres de leur AI Safety Atlas, actuellement en cours de construction, et dont voici quelques éléments. Si le sujet vous intéresse, voici le lien vers l’Atlas lui-même, qui est gratuit : https://ai-safety-atlas.com

Comment catégoriser les risques associés à l’IA ?

On peut identifier plusieurs grandes catégories de risques associés à l’IA. Dans l’évaluation des risques liés à ses modèles, OpenAI utilise 4 catégories : CBRN (Chimiques, Biologiques, Radiologiques, ou Nucléaires), Cybersécurité, Persuasion, Autonomie des modèles.

Chimiques, Biologiques, Radiologiques, ou Nucléaires (CBRN)

Les risques faisant intervenir des substances Chimiques, Biologiques, Radiologiques, ou Nucléaires (CBRN) sont décuplés avec l’apparition de modèles de langages disposant d’une bibliothèque d’information et des capacités de raisonnement pour les assembler. Un modèle de langage débridé peut expliquer comment obtenir, manufacturer, ou utiliser une variété de substances toxiques, et ainsi, abaisser le seuil de compétences nécessaires pour s’en procurer. Les modèles accessibles au grand public disposent de verrous empêchant la restitution de ces informations, mais des astuces pour contourner ces verrous (appelés ‘jailbreaks’) sont nombreuses, et on en découvre au même rythme qu’on les corrige. En guise d’exemple, des élèves du MIT ont exploité un LLM pendant 1h à la recherche de pathogènes endémiques, et ont obtenu les informations suivantes : l’identification de quatre pathogènes, les méthodes pour les produire à partir d’ADN synthétique et une liste d’entreprises de synthèse d’ADN susceptibles de négliger les procédures de sécurité.

Cybersécurité

Les modèles étant entraînés sur d’énormes volumes et variétés de code afin d’être pertinent dans ce domaine, ils ont la capacité d’identifier des failles dans des protocoles de cybersécurité. Par les mêmes approches de jailbreaking, ils peuvent faciliter le travail des hackers. La plupart des LLM actuels n’ont pas la possibilité d’exécuter eux-mêmes du code, mais le développement d’agents connectés à divers outils comme la recherche internet ou un exécuteur de code pourrait remettre cette limite en question. Cela ouvre ainsi la porte à des modèles malveillants capables de hacker d’autres logiciels en toute autonomie. Un article de recherche a montré que les modèles LLM pouvaient déjà hacker de façon autonome certains sites internet, sans qu’on leur fournisse au préalable les vulnérabilités du site.

Persuasion

Une compréhension fine du langage et une bonne restitution des concepts sont les caractéristiques premières d’un modèle de langage. Ce sont les fonctionnalités qui leur permettent de répondre pertinemment aux requêtes d’utilisateurs, mais ces mêmes fonctionnalités leur permettent de formuler de manière convaincante n’importe quelle position qu’on pourrait leur demander de défendre. Ici, le CeSIA souligne que l’interaction de plusieurs systèmes sophistiqués rend les effets plus complexes à comprendre et à prévenir. C’est le cas des réseaux sociaux, dont la capacité à avoir un impact systémique sur les opinions politiques d’une population a été maintes fois démontré. Dans ce cadre, les modèles LLM rendent possible des campagnes de désinformation et de manipulation à des échelles inédites. Les flux d’informations et d’opinions dans les réseaux en tant que système sont flous, la gestion des requêtes qu’un LLM devrait ou pourrait filtrer est difficile, et sujette à une multitude de failles. On voit donc apparaître des problèmes que l’on peut anticiper, mais difficilement prévenir.

Il existe, en outre, une panoplie de raisons pour lesquelles un individu ou un collectif pourrait vouloir disposer de moyens de persuasion automatiques et parallélisables, à des fins publicitaires, économiques, religieuses par exemple.

Autonomie des modèles

Cette dernière catégorie est la moins concrète, car elle s’appuie sur des fonctionnalités que l’on s’attend à voir dans les prochaines générations de modèles. Cependant, elle demande une anticipation toute particulière. On voudrait par exemple permettre aux modèles d’accomplir des tâches plus complexes, et qui demandent de multiples étapes en autonomie (c’est la direction que prend ChatGPT o1 qui s’autodéfinit une marche à suivre avant de l’appliquer). Il y a aussi la connexion à internet et la possibilité d’exécuter du code pour pouvoir exploiter d’autres fonctionnalités de l’ordinateur. Dans ces conditions, il est légitime d’envisager l’hypothèse d’un modèle avec un objectif d’auto-préservation, se comportant comme un virus et se copiant sur différents ordinateurs afin qu’il soit impossible de l’arrêter.

Bien qu’il soit difficile de cerner la vraisemblance d’un tel scénario, les intervenants du CeSIA donnent l’image suivante pour l’illustrer. Si l’on demande à un modèle de nous servir du café, son objectif va être de nous servir du café au mieux de ses capacités. Par effet de bord, il risque de se convaincre qu’il ne doit pas se laisser éteindre ni se laisser donner un nouvel objectif, sans quoi il servirait moins bien le café. Ainsi, il pourrait décider de se dupliquer de manière autonome afin de remplir sa mission principale et nous pourrions perdre le contrôle sur ce modèle. Ce risque est pour l’instant hypothétique, mais illustre la mission de la CeSIA : créer un horizon clair des risques possibles.

Bien entendu, on ne peut pas savoir exactement à quelle vitesse les performances des modèles vont croitre, mais c’est une question qui a reçu beaucoup d’attention, et à laquelle on a des réponses plutôt précises. OpenAI a développé des formules pour prédire les capacités de leurs futurs modèles en fonction des principaux facteurs d’amélioration, comme le nombre de paramètres ou la quantité de données fournies en entrée. Le AI Safety Atlas fournit également des ordres de grandeur de croissance des capacités des modèles.

Source : AI Safety Atlas

L’avis de Yoshua Bengio et Stuart Russell, deux experts du domaine

Nous détaillerons ici les interventions de ces deux speakers, qui proposent un point de vue technique et éclairé en tant qu’experts mondiaux reconnus de l’IA.

Yoshua Bengio

Yoshua Bengio est récipient du prix Turing en informatique obtenu en 2018. Dans son intervention au Paris AI Safety Summit, Y. Bengio a fait part d’un certain nombre d’inquiétudes. Il commence par rappeler la définition du principe de précaution : “en l’absence, à un moment donné, de certitudes, due à un manque de connaissances techniques ou scientifiques, il convient malgré tout de prendre des mesures de gestion des risques afin de prévenir des dommages potentiels graves sur l’environnement et la santé”. Alors que ce principe a été respecté dans un éventail d’innovations scientifiques comme le clonage par exemple, Y. Bengio souligne qu’il n’est, aujourd’hui, pas du tout considéré dans le domaine de l’IA.

Créateur : ALEX WONG | Crédits : Getty Images via AFP

Il mentionne plusieurs risques déja évoqués dans cet article, ainsi que l’impact à grande échelle sur le marché du travail, et l’auto-amélioration récursive qui pourrait mener à des générations de modèles de moins en moins compréhensibles pour l’humain. Sans mettre le doigt sur un risque qui l’inquiète particulièrement, Y. Bengio critique le manque de visibilité sur les dangers potentiels, en proposant l’image suivante : “Humanity is sleepwalking towards potential catastrophe behind a fog”.

Pourquoi ce domaine échappe-t-il ainsi aux principes de précaution ? L’un des arguments clé est l’incitation financière, explique Y. Bengio. Il est estimé que le développement d’un modèle d’AGI (Artificial General Intelligence), qui aurait des compétences équivalentes aux meilleurs humains sur tous les domaines, serait valorisé à 10 billiards de dollars (c’est à dire 1 million de milliards), avec un modèle “winner takes all” (le premier qui l’atteint empoche l’intégralité du gâteau). Cet Eldorado motive énormément d’investisseurs, avec un niveau d’investissement record qui s’élève aujourd’hui à 10x le budget du projet Manhattan.

Par ailleurs, ajoute-t-il, une posture de précaution vis-à-vis de cette technologie demande une grande humilité de la part des chercheurs qui la développent. En tant que pionnier du Deep Learning, Y. Bengio est bien placé pour dire qu’après avoir autant contribué à l’émergence de cette technologie, il est difficile de mettre son ego de côté pour regarder les risques en face.

Pour prévenir les éventuelles catastrophes derrière ce brouillard, il pense que les grandes pistes sont la résolution des problèmes d’alignement (le fait d’être sûr que l’instruction de l’humain et ce que “comprend” la machine est bien identique), de conception d’IA de confiance, et une gouvernance efficace. En tant que chercheur, son rôle est de chercher des solutions techniques, et sa piste actuelle est le développement de modèles qui permettent d’évaluer pertinemment les risques des différents scénarios, afin de mettre en place une gestion des risques sérieuse et systématique. Si le sujet vous intéresse, vous pouvez retrouver tous les détails sur son article de blog.

Stuart Russel

Stuart Russel est, quant à lui, un pilier de la recherche en informatique, co-auteur de *Artificial Intelligence: A Modern Approach*, le manuel d’autorité en IA. Il se concentre plus spécifiquement sur la création de l’AGI. Bien qu’on ne puisse, bien sûr, pas fournir de prédictions précises sur les performances des futurs modèles, il cite plusieurs experts qui envisagent l’arrivée de l’AGI aux alentours de 2026–2027. Voici un graphique de Léopold Aschenbrenner qui explique cette prédiction.

Léopold Aschenbrenner — Base Scaleup of effective compute

Il tempère toutefois son avis, en présentant quelques limites prévisibles au développement de l’AGI. Il existe tout d’abord des limites mathématiques bien connues liées au caractère fixe des circuits et qui présupposent que certains niveaux de complexité ne pourront jamais être traités par les machines (il s’agit d’un domaine de théorie appelée complexité computationnelle). Ensuite, vient le problème de la quantité de données à disposition qui est aujourd’hui insuffisante dans le monde entier pour entraîner un modèle 10x plus gros que GPT-4, ce qui pourrait bloquer purement et simplement l’augmentation des capacités. À ce titre, il évoque l’hypothèse d’un grand hiver de l’IA, qui repousserait de quelques années la question de l’AGI. Ce sont des problèmes à envisager, explique-t-il, mais qui pourraient certainement trouver des réponses dans quelques idées ingénieuses. Une fois la pertinence de cette hypothèse établie, il présente la grande problématique de l’AGI, qui relève presque du dilemme : “Comment garder le contrôle sur une entité plus intelligente que nous, et ce, pour toujours ?”

S. Russell conclut donc en expliquant sa position sur le sujet : ces systèmes qui n’ont pas été conçus pour être sécurisés “by design” présenterons toujours des échappatoires (loophole) et des risques de désalignement. Il donne l’exemple du code de taxation des Etats-Unis, long de 72000 pages, qui permet encore des détournements à ses adhérents les plus rusés. Il défend donc la conception de modèles d’IA dont la fonction première ne serait plus la performance, mais la sécurité. C’est le domaine qu’il creuse actuellement, dont le principe cardinal serait d’exclure des comportements aux modèles d’IA, et d’adapter l’entraînement en conséquence. C’est une perspective bien moins attrayante pour les financiers et les entrepreneurs de la Sillicon Valley mais qui s’avère néanmoins absolument fondamentale pour se prémunir des risques potentiellement catastrophiques énumérés tout au long de cet article.

Conclusion : comment cette problématique est-elle considérée dans l’industrie ?

Le compte rendu de ces réflexions est que, la recherche actuelle en IA ne prend pas suffisament au sérieux le sujet de la sécurité. OpenAI a décidé de publier des fiches pour chaque modèle récapitulant le niveau de risque sur les 4 grandes catégories citées précédemment.

System card — Open AI

Ces system cards sont publiés comme des gages de sécurité sans donner d’information sur les critères de catégorisation des risques, sans publier les tests qu’ils ont effectués, et sans faire intervenir d’organisme tiers et désintéressé pour émettre un avis. Ils donnent accès à leur modèle à une équipe d’experts dont l’objectif est de craquer le système pour en tester la résilience. Ce processus s’appelle le red-teaming, et bien qu’il soit essentiel, il donne un temps fixé à une centaine d’individus, ce qui est dérisoire face au nombre d’utilisateurs qui auront accès au modèle une fois déployé. Des utilisateurs indépendants découvrent chaque jour de nouvelles stratégies de jailbreaking. Parmi les retours des experts, OpenAI publie “Automated jailbreaks converted requests that the model originally refused into valid responses, with o1-preview resisting these techniques 44% of the time and o1-mini 15% of the time.” Il est donc raisonnable d’associer ce concept de system card à une stratégie de communication plus qu’à une démarche sérieuse de sécurité et de mitigation des risques. Chez Craft AI, nous partageons l’avis de Y. Bengio et S. Russell, et nous pensons qu’il est impératif que ce sujet devienne central dans le débat public et dans les travaux des scientifiques et des entreprises du secteur.

Les system cards sont un premier pas vers la transparence, mais avant tout, il est essentiel de développer des approches plus robustes et standardisées pour évaluer les capacités et les risques des LLMs. Cette évaluation présente assurément de nombreux défis. L’un d’eux est la contamination des jeux de données, elle se produit lorsque les données d’évaluation chevauchent les données d’apprentissage. Cela conduit à des mesures de performance gonflées et qui ne reflètent pas exactement la capacité de généralisation d’un modèle. En outre, le manque de métriques d’évaluation standardisées rend difficile l’évaluation des LLM. Les métriques existantes ne parviennent souvent pas à capturer des nuances telles que la créativité, le raisonnement et la compréhension du bon sens. Étant donné la complexité à mettre en place un benchmark pour un cas d’usage précis (coût d’inférence des LLM, difficulté de construire un jeu de donnée suffisamment conséquent, nombre et évolution rapide des modèles existant) la métrique faisant foi est fréquemment la préférence humaine. L’évaluation humaine, bien qu’essentielle, introduit de la subjectivité, ainsi que des biais tels que la préférence du style en dépit de la substance. LMsys, propriétaire du meilleur benchmark de préférence, y remédie en pénalisant le style de diverse manière. Ils montrent ainsi que des modèles comme GPT-4o-mini et Grok-2-mini perdent du terrain, tandis que Claude 3.5 Sonnet et Llama 3.1–405B remontent dans le classement. De telles approches sont peut-être les plus prometteuses aujourd’hui pour faire l’AI safety dans le monde réel.