Au cœur de la menace se trouve ce qu’on appelle le « problème d’alignement » – l’idée qu’un cerveau informatique puissant pourrait ne plus être aligné avec les meilleurs intérêts des êtres humains. Contrairement à l’équité ou à la perte d’emploi, il n’existe pas de solutions politiques évidentes à l’alignement. C’est un problème hautement technique que certains experts craignent de ne jamais pouvoir résoudre. Mais le gouvernement fait ont un rôle à jouer pour faire face à des problèmes massifs et incertains comme celui-ci. En fait, c’est peut-être le rôle le plus important qu’elle puisse jouer sur l’IA : financer un projet de recherche à l’échelle qu’il mérite.
Il y a un précédent réussi à cela : le projet Manhattan a été l’une des entreprises technologiques les plus ambitieuses du XXe siècle. À son apogée, 129 000 personnes ont travaillé sur le projet sur des sites à travers les États-Unis et le Canada. Ils essayaient de résoudre un problème crucial pour la sécurité nationale, et dont personne n’était sûr qu’il puisse être résolu : comment exploiter l’énergie nucléaire pour fabriquer une arme.
Quelque huit décennies plus tard, le besoin s’est fait sentir d’un projet de recherche gouvernemental qui corresponde à l’ampleur et à l’urgence du projet Manhattan original. À certains égards, l’objectif est exactement le contraire du premier projet Manhattan, qui a ouvert la porte à une destruction auparavant inimaginable. Cette fois, l’objectif doit être de prévenir des destructions inimaginables, ainsi que des destructions simplement difficiles à anticiper.
La menace est réelle
Ne vous contentez pas de me le prendre. L’opinion des experts ne diffère que sur la question de savoir si les risques de l’IA sont d’une taille sans précédent ou littéralement existentiel.
Même les scientifiques qui ont jeté les bases des modèles d’IA d’aujourd’hui tirent la sonnette d’alarme. Plus récemment, le « parrain de l’IA » lui-même, Geoffrey Hinton, quitter son poste chez Google pour attirer l’attention sur les risques que l’IA fait peser sur l’humanité.
Cela peut ressembler à de la science-fiction, mais c’est une réalité qui se précipite vers nous plus rapidement que presque personne ne l’avait prévu. Aujourd’hui, les progrès de l’IA se mesurent en jours et en semaines, et non en mois et en années.
Il y a à peine deux ans, la plate-forme de prévision Metaculus a annoncé l’arrivée probable d’une intelligence générale artificielle “faible” – un système unifié qui peut rivaliser avec l’humain typique diplômé d’université sur la plupart des tâches – vers 2040.
Maintenant, les prévisionnistes prévoient que l’AGI arrivera en 2026. Des AGI « solides » avec des capacités robotiques qui égalent ou surpassent la plupart des humains devraient émerger seulement cinq ans plus tard. Avec la capacité d’automatiser la recherche sur l’IA elle-même, la prochaine étape serait une superintelligence avec une puissance insondable.
Ne comptez pas sur les canaux normaux du gouvernement pour nous sauver de ce.
Les décideurs politiques ne peuvent pas se permettre un processus interinstitutions interminable ou une période de préavis et de commentaires pour se préparer à ce qui s’en vient. Au contraire, tirer le meilleur parti de l’énorme avantage de l’IA tout en évitant la catastrophe exigera de notre gouvernement qu’il cesse de jouer un rôle secondaire et agisse avec une agilité jamais vue depuis des générations. D’où le besoin d’un nouveau projet Manhattan.
Le programme de recherche est clair
“A Manhattan Project for X” est l’un de ces clichés de la politique américaine qui mérite rarement le battage médiatique. L’IA est la rare exception. Assurer le développement d’AGI en toute sécurité et pour le bien de l’humanité nécessitera un investissement public dans une recherche ciblée, des niveaux élevés de coordination publique et privée et un leader avec la ténacité du général Leslie Groves – le tristement célèbre superviseur du projet, dont le style de leadership agressif et descendant reflétait celui d’un PDG de la technologie moderne.
Je ne suis pas la seule personne à le suggérer : le penseur de l’IA Gary Marcus et la légendaire informaticienne Judea Pearl a récemment adopté l’idée aussi, au moins de manière informelle. Mais à quoi cela ressemblerait-il exactement dans la pratique ?
Heureusement, nous connaissons déjà un peu le problème et pouvons esquisser les outils dont nous avons besoin pour le résoudre.
L’un des problèmes est que les grands réseaux de neurones comme GPT-4 – les “IA génératives” qui suscitent le plus d’inquiétudes en ce moment – sont pour la plupart une boîte noire, avec des processus de raisonnement que nous ne pouvons pas encore pleinement comprendre ou contrôler. Mais avec la bonne configuration, les chercheurs peuvent en principe mener des expériences qui découvrent des circuits particuliers cachés dans les milliards de connexions. C’est ce qu’on appelle “interprétabilité mécaniste” la recherche, et c’est ce que nous avons de plus proche des neurosciences pour les cerveaux artificiels.
Malheureusement, le domaine est encore jeune et loin derrière dans sa compréhension de la façon dont les modèles actuels font ce qu’ils font. La possibilité d’effectuer des expériences sur de grands modèles sans restriction est principalement réservée aux chercheurs des principales sociétés d’IA. Le manque d’opportunités dans la recherche mécaniste sur l’interprétabilité et l’alignement est un problème classique de biens publics. La formation de grands modèles d’IA coûte des millions de dollars en services de cloud computing, surtout si l’on parcourt différentes configurations. Les laboratoires privés d’IA hésitent donc à brûler des capitaux sur des modèles de formation sans but commercial. Les centres de données financés par le gouvernement, en revanche, n’auraient aucune obligation de restituer de la valeur aux actionnaires et pourraient fournir des ressources informatiques gratuites à des milliers de chercheurs potentiels ayant des idées à apporter.
Le gouvernement pourrait également garantir le déroulement de la recherche dans une relative sécurité – et fournir une connexion centrale permettant aux experts de partager leurs connaissances.
Avec tout cela à l’esprit, un projet Manhattan pour la sécurité de l’IA devrait avoir au moins 5 fonctions principales :
1. Il jouerait un rôle de coordination, rassemblant les dirigeants des principales sociétés d’IA – OpenAI et ses principaux concurrents, Anthropic et Google DeepMind – pour divulguer leurs plans en toute confidentialité, développer des protocoles de sécurité partagés et prévenir la dynamique actuelle de la course aux armements.
2. Il s’appuierait sur leur talent et leur expertise pour accélérer la construction de centres de données appartenant au gouvernement et gérés sous la plus haute sécurité, y compris un “air gap”, une déconnexion délibérée des réseaux extérieurs, garantissant que les futures IA plus puissantes ne soient pas en mesure de évadez-vous sur l’internet ouvert. De telles installations seraient probablement supervisées par le ministère de l’Énergie Bureau de l’intelligence artificielle et de la technologiecompte tenu de sa mission actuelle d’accélérer la démonstration d’une IA digne de confiance.
3. Cela obligerait les entreprises participantes à collaborer à la recherche sur la sécurité et l’alignement, et exigerait que les modèles qui présentent des risques pour la sécurité soient formés et testés de manière approfondie dans des installations sécurisées.
4. Il fournirait des bancs d’essai publics aux chercheurs universitaires et à d’autres scientifiques externes pour étudier les entrailles de grands modèles comme GPT-4, en s’appuyant largement sur des initiatives existantes comme le Ressource nationale de recherche sur l’IA et aider à développer le domaine naissant de l’interprétabilité de l’IA.
5. Et cela fournirait une plate-forme cloud pour la formation de modèles d’IA avancés pour les besoins au sein du gouvernement, garantissant la confidentialité des données gouvernementales sensibles et servant de protection contre l’emballement du pouvoir des entreprises.
Le seul moyen de sortir est de passer à travers
L’alternative à un effort public massif comme celui-ci – tenter de renverser la vapeur sur le problème de l’IA – ne suffira pas.
La seule autre proposition sérieuse à l’heure actuelle est une “pause” sur le développement de nouvelles IA, et même de nombreux sceptiques de la technologie considèrent cela comme irréaliste. Cela peut même être contre-productif. Notre compréhension de la puissance des systèmes d’IA pourrait devenir voyous est au mieux immature, mais devrait s’améliorer considérablement grâce à des tests continus, en particulier de modèles plus grands. Les centres de données isolés seront donc essentiels pour expérimenter les modes de défaillance de l’IA dans un environnement sécurisé. Cela inclut de pousser les modèles à leurs limites pour explorer des comportements émergents potentiellement dangereux, comme la tromperie ou recherche de pouvoir.
L’analogie du projet Manhattan n’est pas parfaite, mais elle aide à établir un contraste avec ceux qui soutiennent que la sécurité de l’IA nécessite de suspendre complètement la recherche sur des modèles plus puissants. Le projet ne cherchait pas à ralentir la construction de l’armement atomique, mais à la maîtriser.
Même si les AGI finissent par être plus éloignés que ne le pensent la plupart des experts, il est peu probable qu’un projet Manhattan pour la sécurité de l’IA soit gaspillé. En effet, de nombreux risques d’IA moins qu’existentiels sont déjà sur nous, nécessitant une recherche agressive sur les stratégies d’atténuation et d’adaptation. alors qu’attendons-nous?
