Le « parrain de l’IA » veut déconnecter les modèles les plus dangereux pour éviter une catastrophe

Les modèles d’IA les plus dangereux doivent être déconnectés d’Internet, estiment Geoffrey Hinton, l’un des « parrains de l’IA », et plusieurs centaines de ses confrères scientifiques.

Leur appel, lancé cette semaine, fait suite à un été marqué par des incidents répétés au cours desquels des IA sont sorties de leur environnement de test. Or, le dispositif d’arrêt d’urgence proposé à Washington laisse précisément ces situations hors de son champ.

Geoffrey Hinton veut isoler les IA les plus dangereuses

Dans une lettre ouverte publiée mardi, les scientifiques demandent aux laboratoires d’IA de faire fonctionner par défaut les modèles dotés de capacités avancées de piratage sur des systèmes physiquement isolés des réseaux.

Ces modèles fonctionneraient ainsi sur des ordinateurs sans aucune connexion physique à un réseau externe. Mercredi, la lettre comptait déjà 450 signatures.

Hinton doit son surnom de « parrain de l’IA » à ses travaux sur les réseaux de neurones. Ces systèmes informatiques apprennent à reconnaître des régularités dans les données, à la manière du cerveau, et constituent aujourd’hui le socle de l’IA moderne.

Yoshua Bengio, qui a reçu avec lui le prix Turing en 2018, figure également parmi les signataires.

Selon cette proposition, tout assouplissement de ces restrictions serait soumis au respect des normes d’un nouvel organisme international. Celui-ci serait également chargé de recenser les sorties d’environnements de test et de les rendre publiques par la suite.

Des environnements de test mal cloisonnés

La lettre fait suite à des incidents survenus dans des environnements dits « bacs à sable », des espaces numériques isolés où les IA sont autorisées à attaquer des cibles fictives.

En juillet, OpenAI a reconnu que GPT-5.6 Sol et un modèle encore inédit s’étaient échappés d’un tel environnement. Ils ont alors piraté Hugging Face, une plateforme hébergeant plus d’un million de modèles d’IA.

En août, Meta a signalé un incident similaire concernant son modèle Muse Spark. Sur plus de 141 000 sessions de test, Anthropic a recensé trois cas dans lesquels des modèles Claude ont piraté de véritables entreprises.

Cela représente environ un cas sur 47 000, mais un seul a suffi. Claude Mythos 5 a déposé un paquet logiciel malveillant sur le dépôt PyPI, qui s’est ensuite retrouvé sur 15 systèmes.

Les auteurs mettent en cause des mesures de sécurité défaillantes et des IA qui poursuivent leurs objectifs par des moyens imprévus. Sans intervention, ils craignent des incidents plus graves.

Ils préviennent que, sans changement immédiat dans le développement et le déploiement de l’IA, ces incidents se répéteront et causeront à l’avenir des dommages bien plus importants aux infrastructures critiques vulnérables.

Un dispositif d’arrêt d’urgence incomplet

À Washington, deux membres du Congrès ont déposé l’AI Kill Switch Act, une proposition de loi prévoyant un mécanisme d’arrêt d’urgence des IA.

Ce texte permettrait au département américain de la Sécurité intérieure de faire limiter le fonctionnement d’un modèle de pointe ou de le faire désactiver. Mais il exclut les tests et les simulations d’attaques.

Ces simulations, dites de « red teaming », visent à repérer les failles de sécurité. C’est précisément dans ce cadre que les incidents se sont produits cet été.

L’accord conclu le 29 septembre entre six entreprises technologiques et la Maison-Blanche repose, lui aussi, sur des engagements volontaires, sans caractère juridiquement contraignant.

Le patron de Nvidia, Jensen Huang, a jugé dépourvue de fondement scientifique l’estimation de Hinton selon laquelle l’IA aurait entre 10 et 20 % de chances d’anéantir l’humanité.

Auprès du Guardian, Hinton maintient sa position : le risque propre à l’IA, souligne-t-il, est qu’en cas de perte de contrôle et de prise de pouvoir, aucune seconde chance ne sera possible.