Un très sympathique court-métrage à propos d’IA
https://www.arte.tv/fr/videos/107842-000-A/best-game-ever/
Vidéo intéressante car elle nous montre une IA de surveillance en fonctionnement … et sa subversion par une démarche iconoclaste, artistique.
Dans le même ordre d’idées, c’était la perf d’un artiste à Berlin qui transportait dans un chariot une ribambelle de smartphones destinés à affoler l’IA de Google map, et ça marchait !
L’alliance activistes-artistes face aux machines est une des clés de la lutte !
** **
L’abusivement nommée « intelligence artificielle » nous est imposée depuis plusieurs années (et cela pourrait s’amplifier avec la 5G qui, avec la technologie du Edge computing, la disséminerait dans des micro data centers locaux). Elle sert notamment à réorganiser l’action publique, le plus souvent au détriment des pauvres (nous, qui ne sommes rien, dixit Macron, en relevont !).
Ainsi, Pôle emploi, CAF … se dotent d’algorithmes complexes, particulièrement discriminants car déployés avec la volonté de réduire drastiquement nos droits. Nous relayons l’action du Collectif « Changer de cap »
qui, justement, demande le démantèlement du système d’IA qui piste et discimine les allocataires CAF.
A ce jour, l' »intelligence artificielle » se déploie sans aucun contrôle car elle n’est encadrée par aucune loi. D’où l’importance d’un projet de loi européen négocié depuis plus d’un an et qui pourrait être arrêté dès juin. Le gouvernement français, actuellement président du conseil européen (pas le seul Macron, et pas pour des « mérites exceptionnels », c’est une présidence tournante, en juillet ce seront les Tchèques) pousse pour aller le plus vite possible, et insiste particulièrement sur des dispositions répressives qui seraient classées comme « exception », donc sans aucun contrôle…
Un gros travail est mené par un ensemble de collectifs européens (123 signataires, dont pour la France seulement la LDH et GHETT’UP, la Quadrature du net est adhérente de l’EDRI, qui coordonne le tout). Ils obtiennent des possibilités de contrôle, des interdictions … résumées dans l’article en lien « Le projet de loi européenne sur l’Intelligence Artificielle menace nos droits fondamentaux »
Extraits
L’appel des organisations de défense des droits (coordonnées par l’EDRI, European Digital Rights, association dont est adhérente La Quadrature du Net) pose neuf exigences :
1. Développer une approche cohérente, flexible et à l’épreuve du temps du « risque » des systèmes d’IA
2. Interdiction des systèmes d’IA présentant un risque inacceptable pour les droits fondamentaux
3. Renforcer la responsabilité des fournisseurs et des utilisateurs de systèmes basés sur l’IA
4. Une transparence publique cohérente et significative
5. Des droits et des recours significatifs pour les personnes touchées par les systèmes d’IA
6. Accessibilité tout au long du cycle de vie de l’IA
7. Durabilité et protection de l’environnement lors du développement et de l’utilisation des systèmes d’IA
8. Des normes améliorées et à l’épreuve du temps pour les systèmes d’IA
9. Une IA vraiment complète qui fonctionne pour tout le monde
** **
Ce que la numérisation fait au service public et à ses usagers »
Pour écouter le débat :
A la CAF, à Pôle emploi et ailleurs, l’Etat s’appuie sur les technologies numériques, particulièrement l’IA, pour débusquer ceux qui abuseraient des prestations sociales. Cette « bonne gestion » affichée par les doctrines libérales est l’un des alibis avancés pour privatiser des pans entiers de l’administration, sous couvert de solutionnisme technologique.
Depuis une dizaine d’années, le propos des politiques est de limiter les dépenses publiques, notamment avec l’aide de l’intelligence artificielle. Précédemment, les politiques sociales se fondaient sur une approche collective, fixant la norme et ce qui s’en éloigne. Désormais, d’après le sociologue Vincent Dubois, « l’unité de base n’est plus la population mais les comportements individuels qu’on cherche à prédire. Le risque n’est plus la maladie, la vieillesse ou la mort, mais la morale personnelle » en scrutant à la loupe le mode de vie des allocataires.
Ciblage des pauvres
Pour débusquer les fraudeurs, la Caisse d’allocations familiales (CAF) — qui verse notamment le RSA — expérimente des algorithmes depuis 2004, et a généralisé le data mining depuis 2011. C’est-à-dire l’exploration de données diverses, de l’état civil aux habitudes de consommation, compilées et croisées de façon discrétionnaire. Ces outils auraient un impact sur la vie de près de 13 millions de foyers. Trente millions de personnes en tout. Près d’un Français sur deux. Combien en sont correctement informés ?
Ces organismes peuvent s’appuyer sur quantité de bases de données qui n’ont pas grand-chose à envier à la police. Ainsi, la CAF consignerait pas moins de mille données différentes par allocataire. De quoi cartographier leur quotidien et leur entourage. Dans un tel système, plus de place pour l’erreur ou l’oubli, seulement pour la surveillance et la punition. De quoi creuser inexorablement les inégalités. « Seuls les pauvres sont placés sous le microscope de la clarté scientifique« , écrit la politologue américaine Virginia Eubanks dans Automating Inequality, évoquant la création d’ »hospices digitaux » qui mettent les plus démunis au ban de la société.
Dans un rapport traitant de la lutte contre la fraude aux prestations sociales, la députée LREM Carole Grandjean et la sénatrice Nathalie Goulet (Union centriste) plaidaient pour un élargissement des outils de data mining à Pôle emploi (qui en possède déjà plusieurs, poétiquement baptisés Sillage ou Ocapi).
Certains sont plus visés que d’autres : ainsi, une circulaire de 2012 de la CAF recommandait de cibler les personnes nées hors de l’Union européenne lors des contrôles. Pour le défenseur des droits, « Les ciblages discriminatoires, quelle que soit la technologie employée, ne font que relayer préjugés et stéréotypes, conduisant à une surreprésentation de ces populations parmi les fraudeurs.«
Vincent Dubois le confirme : « L’usage des technologies de statistique prédictive conduit à intensifier le ciblage intrusif des populations les plus précaires. L’informatisation produit non seulement un effet de déshumanisation, mais aussi de déréalisation » car « Les situations personnelles n’existent plus que sous une forme abstraite, sans tenir compte des réalités sociales ou humaines. »
La fraude sociale par les allocataires est pourtant estimée à deux milliards d’euros, donc bien inférieure à l’évasion fiscale, évaluée entre 80 et 100 milliards d’euros par an, mais aussi au non versement de cotisations par les employeurs… Mais ces derniers ne sont pas suspectés d’abuser de la générosité publique.
Combats européens contre l’algorithmisation de l’administration
Deux combats européens (gagnés !) contre l’usage abusif des outils numériques en matière de contrôle social sont à relever :
– aux Pays-Bas, une coalition d’ONG (Platform Bescherming Burgerrechten) a réussi à obtenir en février 2020 le démantèlement d’un dispositif algorithme de profilage des individus nommé SyRI (System risk indication). Il permettait aux organismes sociaux de combiner des données à caractère privé sur l’emploi, les dettes, l’éducation, le logement. Pour le tribunal, SyRI viole la Convention européenne des droits de l’homme, notamment en discriminant et stigmatisant les citoyens des zones urbaines défavorisées, selon leur situation socio-économique et leur origine migratoire.
– en Pologne, au terme d’une bataille juridique conclue en 2014, la fondation Panoptykon, a contraint les autorités à révéler les mécanismes de l’algorithme utilisé pour profiler les demandeurs d’emploi. Le tribunal a conclu au caractère anticonstitutionnel de ce contrôle des populations pouvant conduire à des discriminations sur des individus vulnérables comme les handicapés, les femmes seules…
En France, le collectif Changer de cap mène une campagne d’ampleur contre le déploiement d’un système algorithmique à la CAF au détriment des allocataires pauvres. Le site Basta ! relaie très largement leur action (et d’autres) dans une séries d’articles.
Numérisation pour privatiser
Les auteurs du livre La privatisation numérique. Déstabilisation et réinvention du service public analysent l’usage du numérique pour privatiser progressivement les services publics (en rapport avec les théories du New Public Management, promues par les cabinets de conseil, Mc Kinsey par exemple). Cela conduit à la substitution d’algorithmes aux agents publics, à la généralisation des mécanismes de notation et au développement de l’ubérisation des tâches.
Ses effets sociaux sont considérables : ces méthodes déstabilisent les administrations, renforcent les inégalités sociales d’accès aux services publics et accélèrent la perte de souveraineté publique. Les auteurs proposent une réappropriation des communs numériques, notamment sous la forme d’un militantisme de fonctionnaires qui ainsi défendraient la souveraineté numérique nationale.