Caractérisation des failles et des risques

Le contexte actuel du développement de l’Intelligence Artificielle (course multipolaire à la capacité et généralité des modèles, plans de sûreté encore en ébauche, régulations encore non clairement définies, etc.) présente un certain nombre d’incertitudes quant aux différents scénarios d’évolution capacitaire de ces technologies et leurs impacts associés. 

Nous aimerions ainsi réduire ces incertitudes par la production de travaux d’analyses rigoureux clarifiant les failles techniques et paradigmatiques des systèmes actuels.

Nous partageons notamment l’essentiel des constats posés dans la note sur l'IA sûre et digne de confiance par l'Institut Montaigne, ainsi que les inquiétudes exprimées récemment sur le potentiel risque existentiel lié aux systèmes à venir. Nous aimerions donc, de manière rigoureuse et pragmatique, conduire des analyses profondes de certains points clés, et examiner la plausibilité des différents risques liés au déploiement de modèles très puissants, ainsi que les biais et failles anticipables de ces modèles.

Les avantages de cette ligne de recherche sont multiples :

• Nous permettre de mieux cibler et affiner nos agendas de recherche pour répondre aux impératifs de manière adéquate.
• Poser un cadre de réflexion et d’évaluation pour les axes de recherche poursuivis, en évaluant les apports de chaque agenda vis-à-vis de ce cadre.
• Nourrir la gouvernance de l'IA avec des travaux rigoureux et techniques d'investigation.

Voici les grands types de risques que nous aimerions investiguer :

Usages malveillants et duaux :

• Cybersécurité et piratage : Les futurs modèles pourraient être utilisés dans des arnaques (telles que du phishing automatisé), la cybercriminalité, la guerre inter-états, la manipulation, ou encore la surveillance automatisée. Des preuves de concepts tels que ChaosGPT utilisant AutoGPT montrent que la bonne volonté unanime des utilisateurs de ces systèmes n'est pas garantie.
• Confidentialité : Les réseaux de neurones peuvent être utilisés pour révéler de l'information privée ou détournée à des fins malveillantes. L'étude des failles de ces modèles dans la continuité de papiers tels que SoK: On the Impossible Security of Very Large Foundation Models paraît essentielle.
• Biorisques : Le potentiel de l'IA à générer rapidement une quantité considérable de substances potentiellement dangereuses pourrait accélérer le processus de création d'armes biologiques létales. Il est donc nécessaire de mettre en place des mesures de contrôle et de régulation pour limiter l'accès à ces technologies et minimiser les risques de mauvaise utilisation. 
• Jailbreak : Même si les constructeurs des modèles mettent en place des mesures de sécurité pour faire en sorte que les modèles soient utilisés à des fins bénéfiques, il n'est pas clair que l'on soit capable techniquement, avec les architectures actuelles, de mettre en place des garanties qui ne seront pas levées instantanément. Des résultats préliminaires suggèrent que les méthodes actuelles ne seront probablement pas capables d’être robustes aux attaques, et donc des API publiques permettant l'accès aux modèles GPT pourront encore présenter les failles citées dans les points précédents.

Problèmes accidentels et perte de contrôle :

• Les méthodes actuelles d'alignement des modèles sont très imparfaites : Le reinforcement learning with human feedback (RLHF), la méthode centrale utilisée pour les chatbots, ne parvient pas encore robustement à éviter des comportements parfois agressifs ou trompeurs de ces modèles. Il est important de mieux cerner la portée de ces écarts de comportements et l’efficacité des différentes techniques d’alignement.
• Certains de ces problèmes peuvent s'aggraver à mesure que les systèmes deviennent plus capables.
  Le RLHF à partir de signaux de récompense donnés par les utilisateurs peut accroître le désir de planification à plus long terme, engendrant tromperie et poursuite d’objectifs instrumentaux qui sont des préalables au phénomène de deceptive alignement, et finalement de risques d'accidents à grande échelle.
• Cartographie des risques accidentels : Nous aimerions potentiellement continuer le travail fourni par DeepMind lors de leur revue de littérature des différents risques techniques, en étudiant la plausibilité de chaque scénario et en proposant des manières de préciser chaque faille de chaque scénario, afin d’identifier les choses les plus prioritaires à mettre en place pour de contrecarrer les différents risques confirmés.

Problèmes systémiques :

• Bouleversement économique : Les conséquences généralisées sur le marché du travail découlant de l’autonomisation de l’économie (voir ce rapport d’OpenAI) pourraient amplifier les inégalités économiques et clivages sociaux. Penser ces impacts dans un cadre pluridisciplinaire pourrait également révéler des axes de recherche pluriels judicieux.
• Identification des biais : Les biais au sein des Large Language Models (LLM) persistent, reflétant souvent les opinions et biais propagés sur internet (comme on peut le voir avec les tendances orientées de certains LLM). Ces biais peuvent être nuisibles d’une myriade de manières, comme le montrent par exemple les études de biais islamophobe de GPT-3.
• Risques informationnels : Les conséquences sociétales et politiques d’un déluge de désinformation ou de systèmes d'IA très persuasifs et trompeurs pourraient être significatives avec la démocratisation de modèles de langages de plus en plus puissants. Certaines personnes ont par exemple déjà été victimes d'extorsion via des appels téléphoniques qui imitent la voix de leurs proches via l'IA.
• Fragilité des systèmes complexes : À partir du moment où différentes parties d’un système sont automatisées et fortement couplées, la défaillance d’une des composantes risque de précipiter le reste du système, d’après les mécanismes inhérents aux systèmes complexes. Certaines voies de recherches visent à étudier les caractéristiques de tels systèmes pour anticiper les conséquences d’une plus grande automatisation de l’économie. 

‍

Interprétabilité des réseaux de neurones

L'interprétabilité des réseaux de neurones vise à démystifier le fonctionnement interne des modèles de deep learning en développant une compréhension fine des structures et mécanismes qui les régissent, à différentes échelles (neurones, couches, structures plus complexes, etc.), et étudier les comportements émergeant de modifications sur ces structures.

Cette voie de recherche en reinforcement learning et en NLP nous paraît essentielle pour mieux cerner les phénomènes de biais, d’hallucinations, de problèmes liés à la confidentialité des données et pour garantir la robustesse et la fiabilité des modèles. Cette voie a également l’avantage de requérir peu de capitaux en calcul,  comparativement à d’autres axes de recherche. Les outils et concepts développés dans ce domaine sont aussi porteurs pour d’autres axes de recherche (robustesse, analyse des risques, etc.) ainsi que pour informer in fine la gouvernance et régulation des modèles.

Voici quelques questions de recherche d’interprétabilité que nous aimerions investiguer :

Comment l’information est encodée dans les réseaux de neurones ?

• Localisation et édition d’information : Où se situe la mémoire associative des transformers et comment la modifier robustement ? Depuis l’article Locating and Editing Factual Associations in GPT, il s’agit d’un champ de recherche assez actif (oct 2022, jan 2023, avr 2023).
• Représentation linéaire : L’information est-elle représentée de manière linéaire ? Comment se combine cette information ?
• Découverte de circuits : Dans la continuité de l’article Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small, il pourrait être question de découvrir les circuits construisant la vérité ou l’agressivité.
• Polysémanticité : La majorité des neurones d’un réseau sont polysémantiques : ils encodent plusieurs concepts simultanément, ce qui rend l'explicabilité du modèle plus difficile. Comment interpréter des neurones polysémantiques et modifier leur polysémanticité ?
• Modularité : Étude de la modularité et de la clusterabilité en Deep Learning. Des architectures modulaires permettraient de considérablement faciliter l'interprétation des réseaux de deep learning.

‍

Interprétabilité pour améliorer la robustesse des réseaux :

• Hallucinations : De nombreux exemples montrent la propension des modèles puissants à halluciner des faits erronés. Nous avons conduit un groupe de recherche composé d'étudiants de polytechniques sur ce problème, dans le prolongement de l’article Locating and Editing Factual Associations in GPT et de nombreuses questions restent à approfondir.
• Vulnérabilités : Des techniques d’interprétabilité permettent une meilleure compréhension et détection de vulnérabilités telles que les Trojans, des failles des modèles de Deep Learning, souvent très difficile à cerner, et rendant l’audit bien plus complexe. Nous avons également conduit un groupe d'étudiants sur ce sujet.

EffiSciences possède une grande expérience en interprétabilité, nombre de nos élèves ont suivi nos formations sur ce sujet et commencé des projets de recherche. Nous avons de proches contacts experts venant de différentes universités et des laboratoires de recherche londonien Conjecture et californiens Redwood Research et FAR AI.

‍

Robustesse et Spécifications

D’après cette analyse de littérature par DeepMind, la majorité des scénarios de problèmes techniques systémiques ou accidentels découlent des deux caractéristiques suivantes : 

• Exploitation des spécifications (specification gaming) : Être capable de spécifier de manière exhaustive les desiderata de différents problèmes est un enjeu majeur et actuellement extrêmement difficile. Par exemple, il est plus simple de “maximiser la quantité de clics sur un bouton” que de “s’assurer de la véracité et de l’utilité générale des informations partagées”. Malheureusement, la planification autonome (via AutoGPT par exemple) ou le Reinforcement Learning exploitent généralement toutes les failles de spécifications imparfaites (Specification gaming: the flip side of AI ingenuity - DeepMind) de manière souvent imprévue et non désirée. Ce problème, dans un certain sens, généralise de manière plus fondamentale les problèmes de biais des modèles.

• Robustesse des objectifs (goal misgeneralization) : Il est extrêmement difficile de s’assurer qu’une IA optimisant un ensemble de métriques a bel et bien appris l’objectif qu’on souhaitait initialement cibler. L’interprétabilité permettrait de vérifier et potentiellement de corriger finement les objectifs acquis par un modèle et s'assurer qu’ils sont conformes à ce que l’on voulait spécifier. (Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals | DeepMind)

‍

Voici quelques directions de recherches s’attelant à ces failles :

• Fiabilité extrême : Étudier les techniques, telles que l'entraînement adversarial, visant à rendre les modèles les plus robustement fiables, et ce notamment dans des contextes particulièrement critiques.
• Études des Jailbreaks : Les modèles de langages sont entraînés pour être plus alignés avec les préférences humaines via RLHF, mais ces modèles restent détournables car il est possible de percer leurs mesures de sécurité par ce qu’on appelle des “jailbreak”. Être en mesure d'identifier les limites de ces approches de sécurité et la manière dont ces limites peuvent être exploitées est d’une importance cruciale pour obtenir des API sûres et éviter l’utilisation de modèles à des fins malveillantes. (On the Impossible Safety of Large AI Models)
• Robustesse des objectifs en RL : Comprendre, prédire et contrôler la formation d’objectifs d’agents de RL, et s’assurer de la robustesse des comportements appris est une question de recherche féconde à poursuivre avec notamment des outils d’interprétabilité dans la lignée de Understanding and controlling a maze-solving policy network.
• Spécification : Proposer des algorithmes robustes à des ambiguités dans les données ou à des changements de distributions lors du déploiement des modèles est une question fondamentale que nous avons notamment mise en avant lors de Hackathons que nous avons proposé. (Challenge Data, École 42)
  Par ailleurs, nous conduisons actuellement des recherches sur les problèmes liés au RLHF, la méthode principale utilisée pour aligner GPT4, et nous prévoyons de publier sur ces questions.
• Apprentissage des valeurs humaines : Comment encoder des valeurs humaines complexes, plurielles et non-unifiées dans des modèles larges et généralistes ? Comment représenter et décomposer ces valeurs en des mesures ou architectures explicites ?
  De nombreuses pistes sont envisagées pour s’attaquer à ces questions, comme notamment l’étude des principes du comportement intelligent dans les systèmes biologiques et sociaux pour informer la production de modèles robustement bénéfiques, ou encore la shard theory of human values sur laquelle nous encadrons actuellement un stagiaire.
  Réduction des biais : Les modèles de langages sont souvent biaisés, notamment sur les questions de genres. Des techniques existent pour essayer de réduire ces biais, et nous avons construit un sujet de hackathon de recherche avec le cours responsible ML du MVA pour essayer de réduire les biais dans les Transformers.
• Machine learning responsable : Vérifier que les modèles de langages se comportent de manière juste sur les problèmes moraux, s’assurer que leur composantes morales soient interprétables (projet d'élèves), et étudier les biais des modèles de génération (projet d'élèves).

‍

En nous basant sur des analyses maîtrisées, théoriques et expérimentales des risques et failles des modèles, ainsi que de leurs conséquences potentielles, nous souhaitons encourager une recherche pluridisciplinaire qui aurait vocation à apporter une expertise aux régulations et décisions publiques nationales et européennes.

Dans cette lignée, voici quelques directions de recherche à poursuivre : 

• Étudier la gouvernance de la puissance de calcul, tant sur ces aspects physiques et infrastructurels que logiciels dans la lignée de What does it take to catch a Chinchilla? Verifying Rules on Large-Scale Neural Network Training via Compute Monitoring.
• Mobiliser les sciences sociales et comportementales pour produire, tester et évaluer des narratifs qui :
  - favorisent la bonne transmission et assimilation des informations,
  - favorisent les macro-dynamiques technologiques positives,
  - réduisent les conduites à risques en matière de développement capacitaire.
• Développer des outils pour faciliter l’audit, l’évaluation et la certification des modèles d’IA en collaborant avec les acteurs français, européen et internationaux à la pointe sur ces questions. 
• Penser l’encadrement, et le contrôle des travaux de recherches à caractère dual (dans la lignée de ce qui se fait en biologie) et mener des travaux pour identifier des moyens de régulations visant à prévenir les mésusages et les risques accidentels qui seront par défaut possibles avec les modèles développés.