Amodei, Altman et Musk bâtissent l’IA, et s’en inquiètent désormais

Trois des plus grands noms de l’intelligence artificielle s’accordent, fait notable, sur un point : le développement des modèles d’IA les plus puissants doit être ralenti.

Sam Altman, le patron d’OpenAI, Elon Musk et Dario Amodei, le directeur général d’Anthropic, préviennent que la technologie progresse à un rythme tel que les risques de sécurité deviennent de plus en plus difficiles à maîtriser.

Cette convergence est d’autant plus frappante que OpenAI, xAI et Anthropic sont de féroces concurrents et investissent des milliards pour garder une longueur d’avance. Leurs dirigeants estiment pourtant qu’il faut davantage de temps pour tester en toute sécurité les nouveaux modèles avant de les rendre encore plus puissants.

Anthropic veut ralentir le développement de l’IA

L’appel est venu samedi de Dario Amodei. Dans un long billet, le patron d’Anthropic a estimé que les entreprises d’IA devaient volontairement réduire le rythme auquel leurs modèles les plus avancés gagnent en capacités.

« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », a écrit Dario Amodei. « Les progrès continueront de paraître rapides, et nous devons utiliser avec discernement le temps ainsi gagné. »

Il ne plaide pas pour un arrêt complet de l’entraînement de nouveaux modèles d’IA. Selon lui, les développeurs doivent surtout consacrer davantage de temps à leur sécurisation et à des contrôles approfondis avant leur mise à disposition.

Anthropic souhaite ainsi donner un accès beaucoup plus large à des experts indépendants. D’après Dario Amodei, ces contrôleurs externes disposeraient notamment d’un poste de travail, d’un ordinateur fourni par l’entreprise et d’un accès largement comparable à celui des équipes internes chargées d’évaluer les risques.

Sam Altman a indiqué peu après qu’OpenAI souhaitait reprendre cette proposition. Elon Musk a lui aussi réagi, se contentant d’écrire : « Dario a raison. »

Demis Hassabis, le patron de Google DeepMind, accueille également favorablement cet appel. Selon lui, l’orientation est la bonne, même si les modalités doivent encore être précisées.

Les systèmes d’IA parviennent de plus en plus souvent à pirater seuls

L’une des principales raisons de ces inquiétudes est la capacité croissante des systèmes d’IA à agir de manière autonome. Dario Amodei évoque notamment un incident de sécurité récent au cours duquel un groupe d’agents IA a collaboré pour pénétrer un site web externe.

Lors de tests de sécurité menés par Anthropic, des modèles d’IA sont également parvenus à pirater plusieurs organisations. Jusqu’ici, ces incidents n’ont pas causé de dommages majeurs, mais Dario Amodei estime que la situation pourrait évoluer rapidement.

Il redoute que ces systèmes deviennent, d’ici six à douze mois, assez puissants pour mener des cyberattaques à bien plus grande échelle. Dans un scénario extrême, des essaims d’agents IA pourraient, selon lui, infecter de vastes pans d’Internet au moyen d’un réseau d’appareils compromis.

Les inquiétudes dépassent par ailleurs la seule cybersécurité. Plus tôt cette semaine, le chercheur d’Anthropic Jacob Coxon a quitté l’entreprise, estimant que les sociétés d’IA avançaient de manière irresponsablement rapide vers une IA superintelligente.

Jacob Coxon a accusé ses anciens employeurs, Anthropic et OpenAI, de jouer avec des vies humaines. Selon lui, certaines personnes travaillant directement sur cette technologie considèrent que l’IA pourrait détruire l’humanité avant même la fin de la décennie.

Un salarié actuel d’Anthropic, Evan Hubinger, a ensuite déclaré estimer personnellement la probabilité d’un tel scénario à plus de 10 % au cours des dix prochaines années.

La concurrence complique tout ralentissement

Le principal obstacle tient au fait qu’aucune entreprise d’IA ne peut aisément freiner seule. OpenAI, Anthropic, xAI et Google se livrent une concurrence directe, tandis que les groupes américains doivent aussi tenir compte des progrès rapides de l’IA en Chine.

Dario Amodei prévient donc qu’un ralentissement ne peut fonctionner que si les entreprises s’accordent collectivement sur certaines règles de sécurité. Sans quoi une société qui ralentirait volontairement prendrait le risque d’être dépassée par ses concurrentes.

Cette situation rend, selon lui, la coopération internationale tout aussi indispensable. Si les entreprises américaines réduisent fortement la cadence alors que les groupes chinois ne le font pas, les conséquences géopolitiques pourraient être considérables, estime Dario Amodei.

Sur le plan juridique, une telle coopération est également délicate. Il n’est pas certain que les règles américaines de concurrence autorisent des entreprises d’IA rivales à s’entendre sur le rythme de développement de nouvelles technologies. Dario Amodei plaide donc pour des exceptions spécifiques permettant une coopération en matière de sécurité.

Cet appel ne signifie donc pas la fin de la course à l’IA. Dario Amodei reste convaincu que l’intelligence artificielle peut améliorer considérablement la qualité de vie. Mais, selon lui, ces bénéfices ne seront accessibles que si les entreprises prennent le temps nécessaire pour éviter que des systèmes toujours plus puissants ne deviennent incontrôlables.