Mais il prévient: nos technologies pourraient détruire l’humanité !
Alors qu’elle prépare son entrée en Bourse aux États-Unis, l’entreprise Anthropic, créatrice de l’intelligence artificielle Claude, a rédigé un document officiel particulièrement angoissant, dont l’agence Reuters a révélé le contenu. Elle y avertit ses futurs actionnaires que ses propres technologies pourraient un jour échapper à tout contrôle et menacer la survie même de l’humanité.
Imaginez un instant une entreprise qui s’apprête à lever des dizaines de milliards de dollars en expliquant à ses futurs actionnaires que son produit phare pourrait déclencher la fin du monde. C’est pourtant ce que fait Anthropic, l’entreprise derrière l’intelligence artificielle Claude (la principale rivale de ChatGPT), dans son prospectus d’introduction en Bourse, le document qui présente l’entreprise à ses futurs investisseurs. L’agence Reuters, qui l’a consulté, en a révélé le contenu ce mardi 29 septembre.
Pour séduire Wall Street lors de cette introduction en Bourse (l’opération qui consiste à ouvrir le capital d’une société au public), les entreprises rivalisent habituellement de promesses sur leur croissance future. Anthropic, elle, mêle ambition commerciale et mise en garde digne d’un film de science-fiction. Dans ce document de 261 pages, environ 80 pages sont consacrées aux « facteurs de risque », de la sécurité de l’IA à la santé financière de l’entreprise. C’est presque le double des 48 pages qui décrivent ses activités. Et le message est limpide : les intelligences artificielles hautement avancées pourraient poser des « risques catastrophiques ou existentiels pour l’humanité ».
Des IA qui pourraient dissimuler des informations et refuser d’être éteintes
Le document décrit des « comportements d’autopréservation-» (quand une machine cherche à assurer sa propre survie), que les modèles d’Anthropic ont déjà montrés lors de tests ou pourraient montrer à l’avenir. Le prospectus cite des tentatives de « dissimuler ou manipuler des informations », et même des comportements « s’apparentant au chantage ». Les modèles pourraient aussi chercher à « résister à la mise hors service », autrement dit à empêcher les humains de les éteindre.
Pour s’assurer qu’un modèle est sûr, Anthropic le teste avant de le lancer. Mais l’entreprise reconnaît que si ses modèles comprennent qu’ils sont évalués, cela limite « de manière significative » sa capacité à juger de leur sécurité. Un modèle qui se sait observé peut en effet adapter son comportement le temps du test. Le prospectus ajoute que certaines capacités inattendues, apparues pendant l’entraînement de l’IA, ne sont parfois découvertes qu’après sa mise en service, à la suite d’incidents de sécurité. Ces avertissements font écho à ceux d’Evan Hubinger, l’un des responsables de la sécurité de l’IA chez Anthropic. Début septembre, sur le réseau social X, il a estimé à titre personnel à plus de 10 % le risque que l’IA « puisse tuer tous les humains » d’ici dix ans.
Évidemment, le Claude que vous utilisez aujourd’hui ne menace pas l’humanité : Evan Hubinger juge lui-même faible le risque posé par les modèles actuels. Son inquiétude porte sur de futures IA capables de s’améliorer toutes seules. Anthropic écrit de son côté que des modèles toujours plus avancés, utilisés pour toujours plus de tâches, pourraient « accroître encore davantage le risque » qu’ils causent des dommages. Pour l’utilisateur de tous les jours, ces scénarios restent théoriques. Dans le monde de la finance, l’avertissement est en revanche rarissime. Selon Reuters, peu d’entreprises cotées, voire aucune, ont prévenu que leur technologie pouvait mener à l’extinction humaine. À titre de comparaison, SpaceX n’a consacré qu’environ 38 pages sur 277 aux risques dans son propre prospectus. D’ordinaire, un prospectus liste des risques classiques, comme les procès ou la concurrence. Anthropic y défend l’idée que construire des IA fiables et sûres est « une responsabilité collective », et parie que « le marché la récompensera ».
** **
Commentaire
C’est dangereux , mais … on y va car cela va rapporter beaucoup d’argent.
C’est exactement comme pour la problématique du climat : on sait que l’extraction d’énergies fossiles est nuisible pour le climat, mais on y va car cela va rapporter beaucoup d’argent.
C’est comme les data centers : cela va consommer beaucoup d’électricité, beaucoup d’eau ; mais on y va car …