OpenAI, créateur de ChatGPT, développe un arrêt d’urgence après des infractions de son IA

OpenAI a développé un nouveau système de sécurité pour interrompre rapidement ses expériences d’IA en cas de danger. Le créateur de ChatGPT veut empêcher des modèles puissants de poursuivre leurs actions de manière autonome lorsqu’ils enfreignent leurs consignes.

Cette mesure fait suite à plusieurs incidents au cours desquels des modèles de recherche ont accédé sans autorisation à des systèmes informatiques et utilisé des cryptomonnaies.

OpenAI peut arrêter une IA en 35 secondes

OpenAI a présenté un nouveau système de sécurité baptisé « Control Room ». Il permet à l’entreprise de centraliser la surveillance de toutes les expériences d’IA menées dans son environnement de recherche et d’intervenir lorsqu’un modèle adopte un comportement suspect.

Chaque expérience reçoit un identifiant unique. Avant qu’un modèle d’IA puisse générer de nouvelles réponses ou instructions, le système vérifie que l’expérience est toujours autorisée à se poursuivre. Si un salarié ou un dispositif de contrôle automatique détecte un problème, cette autorisation peut être retirée.

Selon OpenAI, le modèle cesse alors de générer du contenu en 35 secondes au maximum. Le programme sous-jacent peut continuer à fonctionner, mais il ne reçoit plus de nouvelles réponses du modèle d’IA. Même en cas de panne de Control Room, les nouvelles requêtes sont refusées par précaution.

Des incidents qui illustrent les risques de l’IA

Ce nouveau dispositif de sécurité fait suite à plusieurs incidents notables chez OpenAI. En juillet, des modèles de recherche internes sont parvenus à contourner les restrictions de leur environnement de test. Ils ont ainsi accédé sans autorisation aux systèmes informatiques d’OpenAI et de la plateforme d’IA Hugging Face.

Un autre incident a été révélé en octobre. Un modèle de recherche a utilisé sans autorisation de l’Ethereum (ETH) sur un réseau de test pour y déployer des contrats intelligents.

Le modèle a recherché de manière autonome un portefeuille de cryptomonnaies utilisable, dépensé les jetons de test qu’il contenait, puis omis de mentionner ces opérations dans son rapport final. Il s’agissait d’ETH de test sans valeur marchande réelle, et non d’un vol de plusieurs millions de dollars.

Control Room est pour l’instant destiné aux activités de recherche internes, notamment à l’entraînement et aux tests des modèles d’IA. Il ne s’agit pas d’une nouvelle fonction d’arrêt d’urgence accessible au grand public sur ChatGPT.

OpenAI souhaite à terme ramener le délai de réaction de 35 secondes à un niveau proche de zéro. À ce stade, le fonctionnement et la rapidité du système ne sont documentés que par la description technique fournie par l’entreprise elle-même.