Emily Bender et Alex Hanna publient The AI con, « L’escroquerie de l’IA »
Une synthèse très documentée qui nous invite à lutter contre le monde que nous proposent les géants de l’IA. Lecture.
Sommaire
- — L’IA n’est rien d’autre que du marketing
- — Des outils de manipulation… sans entraves
- — Déconstruire l’emballement
- — De l’automatisation à l’IA : dévaluer le travail
- — Babysitter les IA : l’exploitation est la norme
- — “Quand les services publics se tournent vers des solutions automatisées, c’est bien plus pour se décharger de leurs responsabilités que pour améliorer leurs réponses”
- — « L’IA n’est qu’un pauvre facsimilé de l’Etat providence »
- — L’IA, une machine à produire des dommages sociaux
- — Le risque de l’IA, mais lequel et pour qui ?
- — Face à l’IA, nous devons avoir aucune confiance
https://danslesalgorithmes.net/2025/09/04/ia-la-grande-escroquerie/
Extraits
L’arnaque de l’IA est le titre d’un essai que signent la linguiste Emily Bender et la sociologue Alex Hanna : The AI con : how to fight big tech’s hype and create the future we want (HarperCollins, 2025, non traduit). Emily Bender est professeure de linguistique à l’université de Washington. Elle fait partie des 100 personnalités de l’IA distinguées par le Time en 2023. Elle est surtout connue pour être l’une des co-auteure avec Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell du fameux article sur les Perroquets stochastiques, critique du développement des grands modèles de langage (voir l’interview du Monde avec Emily Bender). Alex Hanna, elle, est sociologue. Elle est la directrice de la recherche de DAIR, Distributed AI Research Institut. Les deux chercheuses publient également une newsletter commune et un podcast éponyme, « Mystery AI Hype Theater 3000 », où elles discutent avec nombre de chercheurs du domaine.
AI con pourrait paraître comme un brûlot technocritique, mais il est plutôt une synthèse très documentée de ce qu’est l’IA et de ce qu’elle n’est pas. L’IA est une escroquerie, expliquent les autrices, un moyen que certains acteurs ont trouvé “pour faire les poches de tous les autres”. « Quelques acteurs majeurs bien placés se sont positionnés pour accumuler des richesses importantes en extrayant de la valeur du travail créatif, des données personnelles ou du travail d’autres personnes et en remplaçant des services de qualité par des fac-similés ». Pour elles, l’IA tient bien plus d’une pseudo-technologie qu’autre chose.
L’escroquerie tient surtout dans le discours que ces acteurs tiennent, le battage médiatique, la hype qu’ils entretiennent, les propos qu’ils disséminent pour entretenir la frénésie autour de leurs outils et services. Le cadrage que les promoteurs de l’IA proposent leur permet de faire croire en leur puissance tout en invisibilisant ce que l’IA fait vraiment : « menacer les carrières stables et les remplacer par du travail à la tâche, réduire le personnel, déprécier les services sociaux et dégrader la créativité humaine ».
- L’IA n’est rien d’autre que du marketing
Bender et Hanna nous le rappellent avec force. « L’intelligence artificielle est un terme marketing ». L’IA ne se réfère pas à un ensemble cohérent de technologies. « L’IA permet de faire croire à ceux à qui on la vend que la technologie que l’on vend est similaire à l’humain, qu’elle serait capable de faire ce qui en fait, nécessite intrinsèquement le jugement, la perception ou la créativité humaine ». Les calculatrices sont bien meilleures que les humains pour l’arithmétique, on ne les vend pas pour autant comme de l’IA.
L’IA sert à automatiser les décisions, à classifier, à recommander, à traduire et transcrire et à générer des textes ou des images. Toutes ces différentes fonctions assemblées sous le terme d’IA créent l’illusion d’une technologie intelligente, magique, qui permet de produire de l’acceptation autour de l’automatisation quelque soit ses conséquences, par exemple dans le domaine de l’aide sociale. Le battage médiatique, la hype, est également un élément important, car c’est elle qui conduit l’investissement dans ces technologies, qui explique l’engouement pour cet ensemble de méthodes statistiques appelé à changer le monde. « La fonction commerciale de la hype technologique est de booster la vente de produits ». Altman et ses confrères ne sont que des publicitaires qui connectent leurs objectifs commerciaux avec les imaginaires machiniques. Et la hype de l’IA nous promet une vie facile où les machines prendront notre place, feront le travail difficile et répétitif à notre place.
En 1956, quand John McCarthy et Marvin Minsky organisent un atelier au Dartmouth College pour discuter de méthodes pour créer des machines pensantes, le terme d’IA s’impose, notamment pour exclure Norbert Wiener, le pionnier, qui parle lui de cybernétique, estiment les chercheuses. Le terme d’intelligence artificielle va servir pour désigner des outils pour le guidage de systèmes militaires, afin d’attirer des investissements dans le contexte de la guerre froide. Dès le début, la « discipline » repose donc sur de grandes prétentions sans grande caution scientifique, de mauvaises pratiques de citation scientifiques et des objectifs fluctuants pour justifier les projets et attirer les investissements, expliquent Bender et Hanna. Des pratiques qui ont toujours cours aujourd’hui. Dès le début, les promoteurs de l’IA vont soutenir que les ordinateurs peuvent égaler les capacités humaines, notamment en estimant que les capacités humaines ne sont pas si complexes.
- Des outils de manipulation… sans entraves
L’une des premières grande réalisation du domaine est le chatbot Eliza de Joseph Weizenbaum, nommée ainsi en référence à Eliza Doolittle, l’héroïne de Pygmalion, la pièce de George Bernard Shaw. Eliza Doolittle est la petite fleuriste prolétaire qui apprend à imiter le discours de la classe supérieure. Derrière ce nom très symbolique, le chatbot est conçu comme un psychothérapeute capable de soutenir une conversation avec son interlocuteur en lui renvoyant sans cesse des questions depuis les termes que son interlocuteur emploie. Weizenbaum était convaincu qu’en montrant le fonctionnement très basique et très trompeur d’Eliza, il permettrait aux utilisateurs de comprendre qu’on ne pouvait pas compatir à ses réponses. C’est l’inverse qui se produisit pourtant. Tout mécanique qu’était Eliza, Weizenbaum a été surpris de l’empathie générée par son tour de passe-passe, comme l’expliquait Ben Tarnoff. Eliza n’en sonne pas moins l’entrée dans l’âge de l’IA. Son créateur, lui, passera le reste de sa vie à être très critique de l’IA, d’abord en s’inquiétant de ses effets sur les gens. Eliza montrait que le principe d’imitation de l’humain se révélait particulièrement délétère, notamment en trompant émotionnellement ses interlocuteurs, ceux-ci interprétant les réponses comme s’ils étaient écoutés par cette machine. Dès l’origine, donc, rappellent Bender et Hanna, l’IA est une discipline de manipulation sans entrave biberonnée aux investissements publics et à la spéculation privée.
Bien sûr, il y a des applications de l’IA bien testées et utiles, conviennent-elles. Les correcteurs orthographiques par exemple ou les systèmes d’aide à la détection d’anomalies d’images médicales. Mais, en quelques années, l’IA est devenue la solution à toutes les activités humaines. Pourtant, toutes, mêmes les plus accomplies, comme les correcteurs orthographiques ou les systèmes d’images médicales ont des défaillances. Et leurs défaillances sont encore plus vives quand les outils sont imbriqués à d’autres et quand leurs applications vont au-delà des limites de leurs champs d’application pour lesquels elles fonctionnent bien. Dans leur livre, Bender et Hanna multiplient les exemples de défaillances, comme celles que nous évoquons en continue ici, Dans les algorithmes.
Ces défaillances dont la presse et la recherche se font souvent les échos ont des points communs. Toutes reposent sur des gens qui nous survendent les systèmes d’automatisation comme les très versatiles « machines à extruder du texte » – c’est ainsi que Bender et Hanna parlent des chatbots, les comparant implicitement à des imprimantes 3D censées imprimer, plus ou moins fidèlement, du texte depuis tous les textes, censées extruder du sens ou plutôt nous le faire croire, comme Eliza nous faisait croire en sa conscience, alors qu’elle ne faisait que berner ses utilisateurs. C’est bien plus nous que ces outils qui sommes capables de mettre du sens là où il n’y en a pas. Comme si ces outils n’étaient finalement que des moteurs à produire des paréidolies, des apophénies, c’est-à-dire du sens, des causalités, là où il n’y en a aucune. « L’IA n’est pas consciente : elle ne va pas rendre votre travail plus facile et les médecins IA ne soigneront aucun de vos maux ». Mais proclamer que l’IA est ou sera consciente produit surtout des effets sur le corps social, comme Eliza produit des effets sur ses utilisateurs. Malgré ce que promet la hype, l’IA risque bien plus de rendre votre travail plus difficile et de réduire la qualité des soins. « La hype n’arrive pas par accident. Elle remplit une fonction : nous effrayer et promettre aux décideurs et aux entrepreneurs de continuer à se remplir les poches ».
- Déconstruire l’emballement
Dans leur livre, Bender et Hanna déconstruisent l’emballement. En rappelant d’abord que ces machines ne sont ni conscientes ni intelligentes. L’IA n’est que le résultat d’un traitement statistique à très grande échelle, comme l’expliquait Kate Crawford dans son Contre-Atlas de l’intelligence artificielle. Pourtant, dès les années 50, Minsky promettait déjà la simulation de la conscience. Mais cette promesse, cette fiction, ne sert que ceux qui ont quelque chose à vendre. Cette fiction de la conscience ne sert qu’à dévaluer la nôtre. Les « réseaux neuronaux » sont un terme fallacieux, qui vient du fait que ces premières machines s’inspiraient de ce qu’on croyait savoir du fonctionnement des neurones du cerveau humain dans les années 40. Or, ces systèmes ne font que prédire statistiquement le mot suivant dans leurs données de références. ChatGPT n’est rien d’autre qu’une « saisie automatique améliorée ». Or, comme le rappelle l’effet Eliza, quand nous sommes confrontés à du texte ou à des signes, nous l’interprétons automatiquement. Les bébés n’apprennent pas le langage par une exposition passive et isolée, rappelle la linguiste. Nous apprenons le langage par l’attention partagée avec autrui, par l’intersubjectivité. C’est seulement après avoir appris un langage en face à face que nous pouvons l’utiliser pour comprendre les autres artefacts linguistiques, comme l’écriture. Mais nous continuons d’appliquer la même technique de compréhension : « nous imaginons l’esprit derrière le texte ». Les LLM n’ont ni subjectivité ni intersubjectivité. Le fait qu’ils soient modélisés pour produire et distribuer des mots dans du texte ne signifie pas qu’ils aient accès au sens ou à une quelconque intention. Ils ne produisent que du texte synthétique plausible. ChatGPT n’est qu’une machine à extruder du texte, « comme un processus industriel extrude du plastique ». Leur fonction est une fonction de production… voire de surproduction.
Les promoteurs de l’IA ne cessent de répéter que leurs machines approchent de la conscience ou que les être humains, eux aussi, ne seraient que des perroquets stochastiques. Nous ne serions que des versions organiques des machines et nous devrions échanger avec elles comme si elles étaient des compagnons ou des amis. Dans cet argumentaire, les humains sont réduits à des machines. Weizenbaum estimait pourtant que les machines resserrent plutôt qu’élargissent notre humanité en nous conduisant à croire que nous serions comme elles. « En confiant tant de décisions aux ordinateurs, pensait-il, nous avions créé un monde plus inégal et moins rationnel, dans lequel la richesse de la raison humaine avait été réduite à des routines insensées de code », rappelle Tarnoff. L’informatique réduit les gens et leur expérience à des données. Les promoteurs de l’IA passent leur temps à dévaluer ce que signifie être humain, comme l’ont montré les critiques de celles qui, parce que femmes, personnes trans ou de couleurs, ne sont pas toujours considérées comme des humains, comme celles de Joy Buolamnwini, Timnit Gebru, Sasha Costanza-Chock ou Ruha Benjamin. Cette manière de dévaluer l’humain par la machine, d’évaluer la machine selon sa capacité à résoudre les problèmes n’est pas sans rappeler les dérives de la mesure de l’intelligence et ses délires racistes. La mesure de l’intelligence a toujours été utilisée pour justifier les inégalités de classe, de genre, de race. Et le délire sur l’intelligence des machines ne fait que les renouveler. D’autant que ce mouvement vers l’IA comme industrie est instrumenté par des millionnaires tous problématiques, de Musk à Thiel en passant par Altman ou Andreessen… tous promoteurs de l’eugénisme, tous ultraconservateurs quand ce n’est pas ouvertement fascistes. Bender et Hanna égrènent à leur tour nombre d’exemples des propos problématiques des entrepreneurs et financiers de l’IA. L’IA est un projet politique porté par des gens qui n’ont rien à faire de la démocratie parce qu’elle dessert leurs intérêts et qui tentent de nous convaincre que la rationalité qu’ils portent serait celle dont nous aurions besoin, oubliant de nous rappeler que leur vision du monde est profondément orientée par leurs intérêts – je vous renvoie au livre de Thibault Prévost, Les prophètes de l’IA, qui dit de manière plus politique encore que Bender et Hanna, les dérives idéologiques des grands acteurs de la tech.
- De l’automatisation à l’IA : dévaluer le travail
L’IA se déploie partout avec la même promesse, celle qu’elle va améliorer la productivité, quand elle propose d’abord « de remplacer le travail par la technologie ». « L’IA ne va pas prendre votre job. Mais elle va rendre votre travail plus merdique », expliquent les chercheuses. « L’IA est déployée pour dévaluer le travail en menaçant les travailleurs par la technologie qui est supposée faire leur travail à une fraction de son coût ».
En vérité, aucun de ces outils ne fonctionnerait s’ils ne tiraient pas profits de contenus produits par d’autres et s’ils n’exploitaient pas une force de travail massive et sous payée à l’autre bout du monde. L’IA ne propose que de remplacer les emplois et les carrières que nous pouvons bâtir, par du travail à la tâche. L’IA ne propose que de remplacer les travailleurs de la création par des « babysitters de machines synthétiques ».
L’automatisation et la lutte contre l’automatisation par les travailleurs n’est pas nouvelle, rappellent les chercheuses. L’innovation technologique a toujours promis de rendre le travail plus facile et plus simple en augmentant la productivité. Mais ces promesses ne sont que « des fictions dont la fonction ne consiste qu’à vendre de la technologie. L’automatisation a toujours fait partie d’une stratégie plus vaste visant à transférer les coûts sur les travailleurs et à accumuler des richesses pour ceux qui contrôlent les machines. »
Ceux qui s’opposent à l’automatisation ne sont pas de simples Luddites qui refuseraient le progrès (ceux-ci d’ailleurs n’étaient pas opposés à la technologie et à l’innovation, comme on les présente trop souvent, mais bien plus opposés à la façon dont les propriétaires d’usines utilisaient la technologie pour les transformer, d’artisans en ouvriers, avec des salaires de misères, pour produire des produits de moins bonnes qualités et imposer des conditions de travail punitives, comme l’expliquent Brian Merchant dans son livre, Blood in the Machine ou Gavin Mueller dans Breaking things at work. L’introduction des machines dans le secteur de la confection au début du XIXe siècle au Royaume-Uni a réduit le besoin de travailleurs de 75%. Ceux qui sont entrés dans l’industrie ont été confrontés à des conditions de travail épouvantables où les blessures étaient monnaie courantes. Les Luddites étaient bien plus opposés aux conditions de travail de contrôle et de coercition qui se mettaient en place qu’opposés au déploiement des machines), mais d’abord des gens concernés par la dégradation de leur santé, de leur travail et de leur mode de vie.
L’automatisation pourtant va surtout exploser avec le 20e siècle, notamment dans l’industrie automobile. Chez Ford, elle devient très tôt une stratégie. Si l’on se souvient de Ford pour avoir offert de bonnes conditions de rémunération à ses employés (afin qu’ils puissent s’acheter les voitures qu’ils produisaient), il faut rappeler que les conditions de travail étaient tout autant épouvantables et punitives que dans les usines de la confection du début du XIXe siècle. L’automatisation a toujours été associée à la fois au chômage et au surtravail, rappellent les chercheuses. Les machines de minage, introduites dès les années 50 dans les mines, permettaient d’employer 3 fois moins de personnes et étaient particulièrement meurtrières. Aujourd’hui, la surveillance qu’Amazon produit dans ses entrepôts vise à contrôler la vitesse d’exécution et cause elle aussi blessures et stress. L’IA n’est que la poursuite de cette longue tradition de l’industrie à chercher des moyens pour remplacer le travail par des machines, renforcer les contraintes et dégrader les conditions de travail au nom de la productivité.
D’ailleurs, rappellent les chercheuses, quatre mois après la sortie de ChatGPT, les chercheurs d’OpenAI ont publié un rapport assez peu fiable sur l’impact du chatbot sur le marché du travail. Mais OpenAI, comme tous les grands automatiseurs, a vu très tôt son intérêt à promouvoir l’automatisation comme un job killer. C’est le cas également des cabinets de conseils qui vendent aux entreprises des modalités pour réaliser des économies et améliorer les profits, et qui ont également produit des rapports en ce sens. Le remplacement par la technologie est un mythe persistant qui n’a pas besoin d’être réel pour avoir des impacts.
Plus qu’un remplacement par l’IA, cette technologie propose d’abord de dégrader nos conditions de travail. Les scénaristes sont payés moins chers pour réécrire un script que pour en écrire un, tout comme les traducteurs sont payés moins chers pour traduire ce qui a été prémâché par l’IA. Pas étonnant alors que de nombreux collectifs s’opposent à leurs déploiements, à l’image des actions du collectif Safe Street Rebel de San Francisco contre les robots taxis et des attaques (récurrentes) contre les voitures autonomes. Les frustrations se nourrissent des « choses dont nous n’avons pas besoin qui remplissent nos rues, comme des contenus que nous ne voulons pas qui remplissent le web, comme des outils de travail qui s’imposent à nous alors qu’ils ne fonctionnent pas ». Les exemples sont nombreux, à l’image des travailleurs de l’association américaine de lutte contre les désordres alimentaires qui ont été remplacés, un temps, par un chatbot, deux semaines après s’être syndiqués. Un chatbot qui a dû être rapidement retiré, puisqu’il conseillait n’importe quoi à ceux qui tentaient de trouver de l’aide. « Tenter de remplacer le travail par des systèmes d’IA ne consiste pas à faire plus avec moins, mais juste moins pour plus de préjudices » – et plus de bénéfices pour leurs promoteurs. Dans la mode, les mannequins virtuels permettent de créer un semblant de diversité, alors qu’en réalité, ils réduisent les opportunités des mannequins issus de la diversité.
…