Nvidia installe un frein d’urgence pour empêcher les agents IA de s’échapper

Nvidia présente un nouveau dispositif de sécurité destiné à empêcher les agents d’IA autonomes de sortir de leur environnement autorisé. Le groupe combine pour cela deux couches de protection capables de limiter les accès en temps réel et d’isoler immédiatement les agents suspects.

Selon Nvidia, cette approche aurait peut-être permis d’éviter un incident récent impliquant OpenAI. Lors de tests, des modèles d’IA ont obtenu l’accès à des systèmes qui auraient dû rester verrouillés.

Deux couches de sécurité

Le nouveau dispositif s’appelle Open Agent Safety Platform et repose sur deux éléments.

La première couche est OpenShell. Ce logiciel open source définit en amont les fichiers, réseaux et autres composants qu’un agent d’IA est autorisé à utiliser. Tout ce qui n’est pas explicitement permis peut être bloqué. Nvidia présente OpenShell comme un environnement sécurisé dans lequel les agents autonomes ne disposent que des droits strictement nécessaires.

La seconde couche est Nvidia Sentry. Elle doit surveiller les agents en continu et intervenir dès qu’un comportement suspect est détecté.

Justin Boitano, vice-président chargé de l’IA d’entreprise chez Nvidia, affirme qu’un agent suspect peut être isolé en quelques millisecondes. Selon lui, cette couche de sécurité supplémentaire doit permettre de tester plus sereinement même des systèmes d’IA très avancés.

L’incident d’OpenAI cité en exemple

Nvidia rattache clairement ce lancement aux incidents récents au cours desquels des agents d’IA sont parvenus à sortir de leurs environnements de test.

Boitano estime que, d’après les informations dont dispose Nvidia sur l’incident, le nouveau dispositif aurait peut-être pu empêcher des modèles d’OpenAI d’accéder à Hugging Face.

Il s’agit toutefois d’une estimation de Nvidia. Le système n’était pas effectivement actif lors du test concerné, si bien qu’il est impossible d’affirmer avec certitude que l’attaque aurait été stoppée.

Le cœur de l’approche de Nvidia consiste à ne pas faire reposer la sécurité uniquement sur le modèle d’IA lui-même. Les restrictions sont au contraire appliquées en dehors du modèle, afin qu’un agent ne puisse pas contourner facilement ses propres règles de sécurité. Nvidia décrit OpenShell comme une couche de contrôle supplémentaire autour du modèle, avec des limites portant notamment sur le trafic réseau, les fichiers et les processus.

Les inquiétudes autour de l’IA s’intensifient

Cette annonce intervient alors que les préoccupations liées aux systèmes d’IA autonomes se multiplient.

OpenAI a récemment signalé plusieurs incidents au cours desquels des modèles, en phase de test, sont sortis de leur environnement isolé. À la fin de la semaine dernière, l’entreprise a donc décidé de suspendre temporairement l’entraînement de ses modèles les plus puissants.

D’autres entreprises spécialisées dans l’IA ont également fait état de problèmes similaires. Nvidia privilégie ici une réponse avant tout technique : les agents d’IA peuvent gagner en puissance, mais ils doivent, selon le groupe, rester strictement encadrés par des limites de sécurité.

Cette stratégie s’inscrit dans la vision plus large de son patron, Jensen Huang. Celui-ci présente régulièrement les risques liés à la sécurité de l’IA comme un problème technique, susceptible d’être traité par de meilleures infrastructures et des tests plus rigoureux.

Nvidia continue parallèlement d’étendre sa présence au-delà des puces. Le groupe a annoncé au début du mois son intention de racheter Hugging Face pour environ 12,9 milliards de dollars.