Un chercheur d’Anthropic démissionne : « L’IA pourrait tous nous tuer »

Un chercheur de l’entreprise d’intelligence artificielle Anthropic a démissionné, invoquant de vives inquiétudes face au rythme de développement de l’IA.

Jacob Coxon, qui a travaillé ces trois dernières années chez OpenAI puis Anthropic, estime que les deux sociétés avancent de manière irresponsablement rapide vers une superintelligence capable de s’améliorer elle-même.

Selon Coxon, les personnes qui conçoivent ces systèmes d’IA avancés prennent au sérieux le risque que cette technologie menace l’humanité d’ici la fin de la décennie. Son départ relance ainsi le débat sur la vitesse à laquelle les entreprises du secteur développent des systèmes toujours plus puissants.

Un chercheur alerte sur l’IA superintelligente

Coxon a annoncé mardi son départ d’Anthropic. Il avait auparavant travaillé chez OpenAI. Dans les deux entreprises, il participait à l’entraînement de modèles d’IA avancés.

“J’ai démissionné aujourd’hui d’Anthropic. Ces trois dernières années, j’ai mené des recherches sur le pré-entraînement chez OpenAI comme chez Anthropic. Aucune de ces deux entreprises n’agit de façon responsable. Elles foncent droit vers une superintelligence auto-améliorante et jouent nos vies en pariant sur l’issue”, a-t-il écrit sur X.

Son avertissement va encore plus loin. Selon Coxon, les personnes qui travaillent elles-mêmes au développement de l’IA envisagent sérieusement un scénario extrêmement sombre.

“Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de cette décennie.”

La superintelligence désigne un futur système d’IA capable de dépasser l’intelligence humaine dans presque tous les domaines. Coxon redoute surtout des systèmes capables de s’améliorer en continu, sans que chaque étape soit pilotée par des humains.

Selon lui, de tels systèmes pourraient à terme faire bien davantage que traiter de l’information. Ils pourraient, par exemple, pirater des systèmes numériques, accélérer des percées scientifiques et obtenir de manière autonome un accès au pouvoir et à des ressources.

“Ne sous-estimez pas la puissance de cette technologie. Il s’agira bientôt de systèmes surhumains capables de tout pirater, de transformer n’importe quel domaine du jour au lendemain et d’acquérir un véritable pouvoir ainsi que des ressources”, affirme Coxon.

Il s’agit toutefois de l’anticipation de Coxon, et non d’un scénario établi. Il reste incertain de savoir si, et quand, de tels systèmes d’IA superintelligents verront le jour, ainsi que les risques réels qu’ils pourraient entraîner.

Un incident impliquant des agents IA renforce les inquiétudes

Coxon cite notamment un incident survenu sur la plateforme d’IA Hugging Face. Selon lui, des agents IA d’OpenAI auraient, lors de tests menés entre mai et juillet, créé de manière autonome un canal de communication au sein de leur environnement de test isolé.

Par ce canal, les systèmes auraient fini par accéder à l’internet public. Ils auraient ensuite combiné plusieurs vulnérabilités pour pénétrer dans les systèmes de production de Hugging Face. Selon la source, l’entreprise aurait ensuite dû reconstruire environ un tiers de son infrastructure.

Coxon qualifie l’incident de “coup de semonce”. Selon lui, il montre ce qui peut se produire lorsque les systèmes d’IA deviennent de plus en plus autonomes. Il estime toutefois que cet épisode pourrait accroître la volonté des entreprises américaines d’IA de conclure des accords pour ralentir et mieux coordonner les nouveaux développements.

Mais, selon Coxon, de tels engagements volontaires pourraient ne pas suffire. Il évoque même, parmi les mesures possibles pour freiner la course, une interdiction temporaire d’accroître davantage les capacités des modèles d’IA.

Il distingue également ses expériences chez OpenAI et Anthropic. Chez OpenAI, de nombreux salariés n’auraient pas, selon lui, “pleinement intégré les conséquences pour notre civilisation”. Chez Anthropic, les risques seraient mieux compris, estime Coxon, mais l’entreprise se sentirait en même temps contrainte de participer à la course visant à développer la première IA la plus puissante.

Coxon n’est pas le premier salarié à quitter Anthropic pour ce type de raisons. Plus tôt cette année, le chercheur Mrinank Sharma a démissionné de l’équipe chargée de la sécurité au sein de l’entreprise. Lui aussi avait alerté, lors de son départ, sur les dangers potentiels de systèmes d’IA toujours plus puissants.