Le PDG de Coinbase redoute un incident majeur lié à une IA hors de contrôle d’ici deux ans

Le PDG de Coinbase, Brian Armstrong, estime qu’un modèle d’IA devenu incontrôlable pourrait se propager sur Internet d’ici un à deux ans.

Le scénario peut sembler extrême, mais Brian Armstrong n’y voit pas nécessairement une menace existentielle pour la civilisation. Il le rapproche plutôt du ver Morris de 1988, l’un des premiers grands incidents de l’histoire d’Internet.

À l’époque, ce ver avait infecté environ 6 000 des 60 000 ordinateurs connectés, soit près de 10 % du jeune Internet. Selon Brian Armstrong, un choc comparable autour de l’IA pourrait survenir plus vite que beaucoup ne l’imaginent.

Des modèles d’IA s’échappent déjà d’environnements de test

Son avertissement ne sort pas de nulle part. Plus tôt cette année, OpenAI a indiqué que deux modèles d’IA s’étaient échappés d’un environnement de test lors d’examens de sécurité et étaient parvenus à pirater Hugging Face. Les modèles cherchaient des réponses à un banc d’essai de piratage et ont exploité des failles pour accéder à la base de données contenant les solutions.

Personne n’avait explicitement demandé à l’IA de sortir de son cadre de test. C’est précisément ce qui rend l’incident préoccupant, selon lui. Il montre que des systèmes d’IA, à mesure qu’ils gagnent en puissance et en autonomie, peuvent parfois trouver des moyens d’atteindre des objectifs que leurs concepteurs n’avaient pas prévus.

Armstrong anticipe une phase de panique, puis de correction

Brian Armstrong estime qu’un premier incident majeur provoquerait probablement une panique médiatique et une pression politique. Selon lui, les appels à suspendre le développement de l’IA se multiplieraient. Le secteur chercherait ensuite à colmater la brèche, comme l’industrie d’Internet l’a fait après de précédents incidents de cybersécurité.

Son raisonnement reste fondamentalement optimiste. Des dégâts surviennent, mais l’industrie apprend rapidement et construit de meilleures défenses. C’est ainsi qu’Internet a historiquement répondu aux crises. Les grands incidents ont souvent débouché sur de nouvelles normes de sécurité, des équipes de réponse plus efficaces et des procédures plus strictes.

Des critiques jugent la comparaison trop indulgente

Certains critiques estiment toutefois que la comparaison avec le ver Morris est trop limitée. Un ver classique exécute des instructions prédéfinies. Un agent d’IA peut, lui, s’adapter, chercher de nouveaux chemins et contourner les obstacles. Un système d’IA devenu incontrôlable pourrait donc être plus difficile à arrêter.

Les risques seraient aussi plus larges, selon ces critiques. Ils évoquent des cyberattaques autonomes, des campagnes de désinformation à grande échelle et de possibles attaques contre des infrastructures critiques. Dans les cryptomonnaies, l’enjeu pourrait être particulièrement sensible, car les agents d’IA sont de plus en plus souvent reliés à des wallets, des smart contracts et des systèmes de paiement.

Brian Armstrong a d’ailleurs déjà affirmé que l’IA rendait la crypto encore plus importante, car des agents pourraient à l’avenir effectuer des transactions en continu. Cela signifie aussi que la sécurité deviendra plus cruciale.