{"id":10210,"date":"2023-02-25T02:53:13","date_gmt":"2023-02-25T01:53:13","guid":{"rendered":"https:\/\/collectif-accad.fr\/site\/?p=10210"},"modified":"2023-02-20T11:54:40","modified_gmt":"2023-02-20T10:54:40","slug":"a-quoi-servent-les-luttes-contre-la-numerisation","status":"publish","type":"post","link":"https:\/\/collectif-accad.fr\/site\/a-quoi-servent-les-luttes-contre-la-numerisation\/","title":{"rendered":"A quoi servent les luttes contre la num\u00e9risation\u00a0?"},"content":{"rendered":"

Am\u00e9liorer les syst\u00e8mes partout d\u00e9ficients ou faire reculer la surveillance ?\u00a0<\/span><\/strong><\/span><\/p>\n

<\/p>\n

Q<\/span><\/span>uatri\u00e8me rencontre du cycle \u201cD\u00e9mat\u00e9rialiser pour mieux r\u00e9gner\u201d<\/a>; le Mouton num\u00e9rique<\/a> a souhait\u00e9 regarder au-del\u00e0 des services publics fran\u00e7ais, pour voir comment d\u2019autres, en Europe, portent la lutte contre les algorithmes de contr\u00f4le et de profilage de l\u2019action sociale.\u00a0<\/span><\/span><\/p>\n

Outiller les luttes face \u00e0 la num\u00e9risation des services publics d\u2019action sociale<\/span><\/span><\/strong><\/p>\n

Apr\u00e8s une pr\u00e9sentation des diff\u00e9rents partenaires de ces rencontres, les responsables du Mouton num\u00e9rique rappellent que le profilage des allocataires est devenu courant. La France n\u2019est pas un cas isol\u00e9 [je me permets d\u2019ajouter que les travaux pr\u00e9curseurs<\/a> de Virginia Eubanks sur la num\u00e9risation des syst\u00e8mes sociaux (qui ont presque 10 ans) ont montr\u00e9 que la mise en place de syst\u00e8mes num\u00e9riques dans le domaine social produit le plus souvent des dysfonctionnements, un renforcement des contr\u00f4les, et une diminution des droits \u00e0 l\u2019encontre des plus d\u00e9munis, qui sont d\u2019autant plus forts qu\u2019ils sont renforc\u00e9s par les logiques aust\u00e9ritaires et lib\u00e9rales qui pr\u00e9sident au choix de la num\u00e9risation, consistant \u00e0 am\u00e9liorer le contr\u00f4le pour un co\u00fbt moindre]. Face aux d\u00e9ploiements des outils de surveillance sociale des mobilisations ont lieu ailleurs en Europe et apportent parfois des victoires sociales. C\u2019est le cas par exemple du syst\u00e8me mis en place \u00e0 l\u2019\u00e9quivalent du P\u00f4le emploi polonais, qu\u2019\u00e9voque la sociologue Karolina Sztandar-Sztanderska (@sztanderska<\/a>). Le syst\u00e8me en question, mis en place en 2014, comme l\u2019expliquait Algorithm Watch<\/a>, consistait \u00e0 cat\u00e9goriser les ch\u00f4meurs en plusieurs groupes selon leur proximit\u00e9 avec la recherche d\u2019emploi pour leur fournir des aides diff\u00e9renci\u00e9es selon leur score, au d\u00e9triment de certaines cat\u00e9gories de la population, comme l\u2019a montr\u00e9 le rapport<\/a> de la fondation polonaise Panoptykon<\/a>, une association militant contre la surveillance, \u00e9quivalente \u00e0 la Quadrature du Net<\/a>.\u00a0<\/span><\/span><\/p>\n

Elle constate beaucoup de similarit\u00e9s avec l\u2019exemple fran\u00e7ais de la lutte contre la CAF qu\u2019ont rappel\u00e9 \u00e9voqu\u00e9 l\u2019association Changer de Cap<\/a> et la Quadrature<\/a> (qui \u00e9tait le sujet de la r\u00e9union pr\u00e9c\u00e9dente<\/a>). En Pologne \u00e9galement, les algorithmes n\u2019\u00e9taient pas disponibles, et l\u2019Agence pour l\u2019emploi utilisait la m\u00eame rh\u00e9torique que celle qu\u2019utilise la Caisse nationale d\u2019allocation familiale en France, \u00e0 savoir que si les gens avaient acc\u00e8s \u00e0 l\u2019algorithme, ils pourraient l\u2019utiliser pour tricher (alors qu\u2019il est bien difficile de changer sa situation sociale pour parvenir \u00e0 tricher avec des syst\u00e8mes qui vous assignent \u00e0 votre situation sociale\u2026). Pour l\u2019agence pour l\u2019emploi polonaise, le grand public ne devait pas avoir acc\u00e8s au calcul. Pourtant, apr\u00e8s plusieurs ann\u00e9es de fonctionnement et 5 ann\u00e9es de luttes, l\u2019algorithme du P\u00f4le emploi polonais a \u00e9t\u00e9 d\u00e9clar\u00e9 inconstitutionnel en 2019. Ce syst\u00e8me avait \u00e9t\u00e9 critiqu\u00e9 d\u00e8s le d\u00e9but par la soci\u00e9t\u00e9 civile. Il \u00e9tait utilis\u00e9 par l\u2019agence pour cat\u00e9goriser les demandeurs d\u2019emploi et les noter en fonction de leur employabilit\u00e9. Ce score d\u00e9cidait des prestations et services auxquels ils avaient droit (comme l\u2019acc\u00e8s ou non \u00e0 la formation\u2026) et avait une influence sur les sanctions, si les demandeurs d\u2019emplois ne faisaient pas ce qu\u2019ils devaient faire, explique la sociologue Karolina Sztandar-Sztanderska. La principale critique \u00e0 l\u2019encontre du syst\u00e8me, men\u00e9e notamment par Panoptykon, a \u00e9t\u00e9 de contester son opacit\u00e9 : le syst\u00e8me de calcul n\u2019\u00e9tait pas transparent, alors qu\u2019il aurait d\u00fb, que les administr\u00e9s avaient le droit de savoir comment l\u2019algorithme proc\u00e9dait. L\u2019autre argument reposait sur le fait qu\u2019il n\u2019y avait pas de m\u00e9canisme pour permettre aux ch\u00f4meurs de remettre en question la classification dont ils \u00e9taient l\u2019objet. La question de l\u2019automatisation de la d\u00e9cision, \u00e9tait quant \u00e0 elle, comme souvent, pas si claire \u00e0 trancher, la fronti\u00e8re entre qui de la machine et de l\u2019humain qui en valide les choix d\u00e9cide, \u00e9tant toujours difficile \u00e0 \u00e9valuer. Enfin, la derni\u00e8re critique \u00e0 l\u2019encontre de ce syst\u00e8me portait sur les donn\u00e9es collect\u00e9es, qui aurait d\u00fb \u00eatre r\u00e9gul\u00e9es par une loi vot\u00e9e par le parlement polonais, alors qu\u2019ici, cette r\u00e9gulation \u00e9tait le fait d\u2019un minist\u00e8re, ce qui \u00e9tait pas conforme \u00e0 la l\u00e9gislation. C\u2019est cet argument proc\u00e9dural qui a permis de porter l\u2019affaire devant le tribunal constitutionnel polonais et qui a permis d\u2019obtenir l\u2019abrogation du programme en d\u00e9cembre 2019.\u00a0<\/span><\/span><\/p>\n

La d\u00e9fense de l\u2019opacit\u00e9 du syst\u00e8me afin que les gens ne puissent le d\u00e9jouer, a \u00e9galement \u00e9t\u00e9 un argument fort pour la d\u00e9fense du syst\u00e8me de contr\u00f4le social mis en place par l\u2019Etat n\u00e9erlandais, rappelle Tijmen Wisman (@TijmenWisman<\/a>) de Platform Burgerrechten<\/a>, une association de d\u00e9fense des droits civils qui a port\u00e9 la lutte contre SyRI (pour <\/span><\/span>system risk indication<\/span><\/span><\/em>, indication de risque syst\u00e8me), l\u2019algorithme mis en place par les Pays-Bas pour d\u00e9tecter des fraudes \u00e0 l\u2019aide sociale. La lutte contre les syst\u00e8mes d\u2019oppression algorithmiques, n\u2019est pas si simple, confesse Tijmen Wisman. Pour mener la lutte, il faut d\u2019abord trouver des fonds, mais au d\u00e9but, les organisations \u00e0 qui l\u2019on s\u2019adressait ne comprenaient pas le probl\u00e8me dont on parlait. On est parti au tribunal sans plaidoyer et sans campagne m\u00e9diatique, qui sont pourtant n\u00e9cessaires pour d\u00e9fier et challenger le gouvernement (mais l\u2019association a rapidement rattrap\u00e9 son retard, en lan\u00e7ant par exemple une campagne m\u00e9diatique pour d\u00e9noncer SyRI, \u201cSuspect\u00e9s d\u00e8s l\u2019origine\u201d, explique un excellent dossier d\u2019Algorithm Watch sur ce combat<\/a>). Par contre, il est primordial d\u2019avoir un site pour informer les gens, rapporter et documenter. La chance de notre petite plateforme a \u00e9t\u00e9 d\u2019avoir re\u00e7u l\u2019aide d\u2019experts et d\u2019intellectuels qui ont \u00e9t\u00e9 les ambassadeurs de notre d\u00e9fense. Dans la victoire partielle remport\u00e9e, la question de la transparence a \u00e9t\u00e9 fondamentale. Le jugement final rappelle d\u2019ailleurs que les autorit\u00e9s doivent expliquer les choix qu\u2019elles font. Philip Alston, rapporteur sp\u00e9cial des Nations Unies sur la pauvret\u00e9 extr\u00eame et les droits humains, auteur d\u2019un rapport critique<\/a> sur le d\u00e9ploiement de \u201cl\u2019Etat providence num\u00e9rique\u201d, auteur d\u2019une lettre adress\u00e9e<\/a> au tribunal n\u00e9\u00e9rlandais, expliquait qu\u2019accepter SyRI et la surveillance sociale et cibl\u00e9e des plus pauvres signifie accepter que certains citoyens soient plus surveill\u00e9s que d\u2019autres, et donc discrimin\u00e9s, au profit d\u2019un Etat de surveillance \u00e0 l\u2019encontre des plus pauvres<\/a>.\u00a0<\/span><\/span><\/p>\n

Pour une association comme\u00a0 Platform Burgerrechten<\/a>, il a bien s\u00fbr fallu s\u2019entourer d\u2019avocats, de juristes, de lobbyistes et d\u2019ing\u00e9nieurs pour mener cette bataille. Mais il faut \u00e9galement comprendre tout un vocabulaire de la criminalisation qui se diffuse dans les institutions publiques, comme c\u2019est le cas de cette volont\u00e9 de pr\u00e9server l\u2019opacit\u00e9 des syst\u00e8mes, dont on peut comprendre l\u2019importance lors d\u2019enqu\u00eates criminelles, mais pas lorsque les gens sont confront\u00e9s \u00e0 des institutions publiques. Le risque ici, avec SyRI \u00e9tait de verser dans une surveillance permanente des gens. Parmi toutes les donn\u00e9es que le syst\u00e8me utilisait pour surveiller les quartiers pauvres o\u00f9 il se d\u00e9ployait, il \u00e9tait question par exemple de surveiller la consommation d\u2019eau des m\u00e9nages pour d\u00e9tecter \u00e0 combien d\u2019occupants cette consommation correspondait.\u00a0<\/span><\/span><\/p>\n

Quel est le but de notre opposition \u00e0 la d\u00e9mat\u00e9rialisation ?<\/span><\/span><\/strong><\/p>\n

Pour Tijmen Wisman, l\u2019enjeu de l\u2019opposition a SyRi n\u2019\u00e9tait pas d\u2019am\u00e9liorer le syst\u00e8me. <\/span><\/span>\u201cLe probl\u00e8me du d\u00e9ploiement de syst\u00e8mes de surveillance aux aides sociales, n\u2019est pas leurs d\u00e9faillances, mais la surveillance totale qu\u2019ils impliquent\u201d<\/span><\/span><\/em>. Dans ce cadre, la r\u00e9gulation des syst\u00e8mes ne suffit pas. Le but n\u2019est pas d\u2019am\u00e9liorer les syst\u00e8mes, car on oublie que cette am\u00e9lioration n\u00e9cessite un contr\u00f4le renforc\u00e9 sur les administr\u00e9s. L\u2019audit comme la r\u00e9gulation visent \u00e0 rendre ces syst\u00e8mes de surveillance plus conformes \u00e0 la l\u00e9gislation mais ne les font pas reculer.\u00a0 <\/span><\/span>\u201cLa r\u00e9gulation ne cherche pas tant \u00e0 remettre en question le d\u00e9ploiement de ces syst\u00e8mes qu\u2019\u00e0 les rendre l\u00e9gaux\u201d<\/span><\/span><\/em>, et \u00e0 accepter la surveillance des citoyens qui va avec. Et Wisman de d\u00e9noncer la direction vers laquelle nous conduisent les d\u00e9cisions europ\u00e9ennes actuelles, qui visent \u00e0 renforcer la transparence des syst\u00e8mes pour les rendre incontournables.\u00a0\u00a0<\/span><\/span><\/p>\n

Tous ces exemples sont parfaitement embl\u00e9matiques, compl\u00e8te Nikolett Aszodi (@nikkiaszodi<\/a>) de l\u2019association allemande Algorithm Watch<\/a>. Faire rendre des comptes aux autorit\u00e9s sur les syst\u00e8mes qu\u2019elles d\u00e9ploient est un processus long, sinueux et tr\u00e8s co\u00fbteux. Algorithm Watch m\u00e8ne un travail d\u2019enqu\u00eate, qui cartographie et r\u00e9pertorie les syst\u00e8mes de prise de d\u00e9cision automatis\u00e9s en Europe [ si ce n\u2019est pas d\u00e9j\u00e0 fait, abonnez-vous \u00e0 leur excellente newsletter !<\/a> ]. L\u2019enjeu est de les r\u00e9pertorier, de montrer comment ils fonctionnent, comment ils se d\u00e9ploient, comme de documenter les d\u00e9bats et contestations qu\u2019ils soul\u00e8vent. Mais le principal constat que nous faisons, c\u2019est que nous ne savons pas grand-chose sur ces syst\u00e8mes. On ne conna\u00eet pas les raisons de leurs d\u00e9ploiements, on ne sait pas comment ils se mettent en place, on n\u2019\u00e9value pas leurs impacts sur les syst\u00e8mes administratifs comme sur les administr\u00e9s, on ne conna\u00eet pas leurs buts\u2026 <\/span><\/span>\u201cLa transparence est le pr\u00e9alable n\u00e9cessaire \u00e0 ce que ces syst\u00e8mes rendent des comptes\u201d<\/span><\/span><\/em>. Mais elle n\u2019est pas l\u00e0, constate la responsable des politiques et du plaidoyer de l\u2019association .\u00a0<\/span><\/span><\/p>\n

La soci\u00e9t\u00e9 civile n\u2019a ni le temps ni l\u2019argent pour enqu\u00eater sur ces syst\u00e8mes. C\u2019est en cela que le travail des journalistes et des chercheurs est essentiel, car comprendre ces d\u00e9ploiements et leurs enjeux prend du temps. Algorithm Watch s\u2019appuie sur eux pour mettre en commun les informations et r\u00e9cup\u00e9rer des t\u00e9moignages personnels qui sont toujours tr\u00e8s importants pour rendre compte des effets des syst\u00e8mes, de leurs impacts concrets. R\u00e9cemment, Algorithm Watch a lanc\u00e9 un programme de bourses<\/a> pour aider les journalistes \u00e0 enqu\u00eater, \u00e0 documenter les syst\u00e8mes, \u00e0 les rendre visibles et \u00e0 am\u00e9liorer nos connaissances. Reste que les moyens d\u2019Algorithm Watch sont limit\u00e9s, et pour l\u2019association, l\u2019enjeu d\u00e9sormais consiste surtout \u00e0 trouver des modalit\u00e9s de collaborations avec d\u2019autres acteurs, pour mieux enqu\u00eater et pour toucher plus de gens. Alors que la loi europ\u00e9enne sur l\u2019intelligence artificielle se formalise, les organisations civiles doivent continuer \u00e0 mettre la pression \u00e0 l\u2019Union europ\u00e9enne. La l\u00e9gislation europ\u00e9enne sur l\u2019IA est un \u00e9norme texte l\u00e9gislatif. Les associations doivent s\u2019entraider pour prot\u00e9ger les gens, les informer, faire du plaidoyer et mener des campagnes de communication communes pour rendre ces sujets plus visibles qu\u2019ils ne sont, alerte Nikolett Aszodi.<\/span><\/span><\/p>\n

Certainement un peu impressionn\u00e9s par ces r\u00e9sultats, des repr\u00e9sentants de Changer de Cap s\u2019interrogent\u2026 Combien de temps ces associations ont-elles pass\u00e9 pour d\u00e9faire ou faire reculer ces syst\u00e8mes ?<\/span><\/span><\/p>\n

En Pologne, il a fallu 5 ans, pr\u00e9cise Karolina Sztandar-Sztanderska. L\u2019algorithme de l\u2019agence pour l\u2019emploi polonaise est rest\u00e9 en place longtemps, malgr\u00e9 les critiques port\u00e9es par les associations comme Panoptikon ou m\u00eame par d\u2019autres autorit\u00e9s publiques, comme l\u2019autorit\u00e9 de protection des donn\u00e9es personnelles polonaise, la Cnil locale, les commissaires aux droits humains (l\u2019\u00e9quivalent de notre d\u00e9fenseur des droits), ou la Cour des comptes locale, qui avaient tous critiqu\u00e9s l\u2019efficacit\u00e9 de l\u2019outil tr\u00e8s t\u00f4t. Il y a eu 2 contentieux port\u00e9s en justice. L\u2019un lanc\u00e9 par la fondation Panoptikon pour acc\u00e9der au code, qui a \u00e9t\u00e9 remport\u00e9. Et un autre lanc\u00e9 par le d\u00e9fenseur des droits polonais qui a contest\u00e9 la constitutionnalit\u00e9 du syst\u00e8me devant le tribunal. Et Karolina de rappeler que tout est parti d\u2019un lanceur d\u2019alerte, d\u2019un agent du P\u00f4le Emploi polonais qui a r\u00e9v\u00e9l\u00e9 le probl\u00e8me \u00e0 la presse. <\/span><\/span>\u201cChaque \u00e9tape a \u00e9t\u00e9 un marchepied pour l\u2019\u00e9tape suivante\u201d<\/span><\/span><\/em>, permettant d\u2019accumuler les informations. La victoire est le fruit de beaucoup de collaboration et d\u2019innombrables petites actions individuelles.\u00a0<\/span><\/span><\/p>\n

Vers la normalisation des syst\u00e8mes, malgr\u00e9 leurs d\u00e9ficiences<\/span><\/span><\/strong>
\nAux Pays-Bas, on a entendu parl\u00e9 de probl\u00e8mes autour de SyRi d\u00e8s 2014, rappelle Tijmen Wisman. L\u2019association a\u00a0 mis du temps \u00e0 trouver des avocats. On a lanc\u00e9 l\u2019action l\u00e9gale en 2018 et le jugement a \u00e9t\u00e9 rendu en 2020. Comme en Pologne, nombre d\u2019autorit\u00e9s et d\u2019intellectuels ont critiqu\u00e9 la mise en place de ce syst\u00e8me de contr\u00f4le social automatis\u00e9, d\u00e9non\u00e7ant le fait que le gouvernement puisse s\u2019immiscer partout, collecter toutes les donn\u00e9es pour exercer sa surveillance. Nous n\u2019avons pas obtenu le jugement que nous voulions, estime Wisman. Mais le tribunal a n\u00e9anmoins rappel\u00e9 qu\u2019il \u00e9tait essentiel que les gens puissent savoir ce que font les syst\u00e8mes. Dans le cas du contentieux, nombre d\u2019arguments que nous portions n\u2019ont pas \u00e9t\u00e9 retenus. Le d\u00e9ploiement de tels syst\u00e8mes n\u2019est pas remis en cause, mais le jugement fait jurisprudence et permet d\u00e9sormais d\u2019avoir un point d\u2019appui suppl\u00e9mentaire pour obtenir leur transparence. La m\u00e9diatisation du scandale a \u00e9t\u00e9 un autre succ\u00e8s. <\/span><\/span>\u201cIl faut retourner l\u2019\u00e9clairage int\u00e9gral que les agences braquent sur les citoyens pour tout conna\u00eetre d\u2019eux, sur les agences elles-m\u00eames pour obtenir d\u2019elles la m\u00eame transparence que celle qu\u2019elles demandent aux allocataires\u201d.<\/span><\/span><\/em>\u00a0<\/span><\/span><\/p>\n

Maud du Mouton Num\u00e9rique rappelle que si on \u00e9voque les similarit\u00e9s de pratiques de ces agences, on sait assez peu de choses des \u00e9changes que ces diff\u00e9rents acteurs des services publics entre eux.\u00a0<\/span><\/span><\/p>\n

C\u2019est exact, acquiesce Nikolett Aszodi. A Algorithm Watch, on a fait plusieurs inventaires du d\u00e9ploiement des syst\u00e8mes d\u2019aide \u00e0 la d\u00e9cision automatis\u00e9s en Europe, mais cette cartographie \u00e9volue tr\u00e8s vite (voir notamment l\u2019\u00e9dition en ligne<\/a> ou le rapport (.pdf) en fran\u00e7ais<\/a>, ainsi que l\u2019article que j\u2019en avais produit \u00e0 l\u2019\u00e9poque<\/a>). <\/span><\/span>\u201cEn 2019, les syst\u00e8mes d\u2019aide \u00e0 la d\u00e9cision automatis\u00e9s \u00e9taient l\u2019exception, en 2021, ils sont devenus la norme\u201d<\/span><\/span><\/em>, explique Nikolett Aszodi. Les d\u00e9ploiements sont rapides et les outils prolif\u00e8rent.\u00a0<\/span><\/span><\/p>\n

En regard, le d\u00e9bat public ne suit pas. Il ne s\u2019est pas intensifi\u00e9. Nous manquons de d\u00e9bats d\u00e9mocratiques sur le d\u00e9ploiement de syst\u00e8mes de contr\u00f4le et de surveillance, au moins pour nous interroger collectivement sur les domaines ou les t\u00e2ches qu\u2019ils doivent accomplir et l\u00e0 o\u00f9 ils ne devraient pas aller. Mais l\u2019\u00e9valuation est \u00e9galement d\u00e9ficiente. <\/span><\/span>\u201cPartout on met en place des syst\u00e8mes et seulement parfois, rarement,\u00a0 on les contr\u00f4le\u201d.<\/span><\/span><\/em> Pour beaucoup d\u2019agences, la question de la transparence est tr\u00e8s abstraite. La raison de la mise en \u0153uvre de ces syst\u00e8mes est tr\u00e8s rarement document\u00e9e. Les b\u00e9n\u00e9fices attendus ne sont pas expliqu\u00e9s. Sur les algorithmes publics, il n\u2019y a ni justification ni d\u00e9monstration des avantages qu\u2019ils apportent. L\u2019objectif m\u00eame n\u2019est bien souvent ni clair ni partag\u00e9. Seuls une poign\u00e9e d\u2019algorithmes europ\u00e9ens sont consid\u00e9r\u00e9s comme efficaces, m\u00eame s\u2019ils peuvent se r\u00e9v\u00e9ler probl\u00e9matiques (\u00e0 l\u2019image d\u2019un algorithme espagnol<\/a> pour pr\u00e9dire le risque de violence \u00e0 l\u2019encontre des femmes). En fait, tr\u00e8s majoritairement, les syst\u00e8mes ne tiennent pas leurs promesses. En Finlande, un syst\u00e8me d\u2019IA pour aider les citoyens en cas de changements dans leur vie est consid\u00e9r\u00e9 comme un emprisonnement car en fait, il limite l\u2019acc\u00e8s de nombre de citoyens aux services publics. La technologie est trop souvent promue comme \u00e9tant capable d\u2019apporter des solutions aux probl\u00e8mes humains, mais c\u2019est l\u00e0 un discours id\u00e9ologique dont on ne trouve pas d\u2019exemple concrets dans le d\u00e9ploiement des syst\u00e8mes sociaux, rappelle Nikolett Aszodi.\u00a0<\/span><\/span><\/p>\n

Dans le public, les interrogations surgissent. Y\u2019a-t-il des syst\u00e8mes qui s\u2019int\u00e9ressent aux riches et pas seulement aux pauvres ? Les ch\u00f4meurs, les pr\u00e9caires interrogent assez peu la mani\u00e8re dont ils sont calcul\u00e9s\u2026\u00a0<\/span><\/span><\/p>\n

Pour Algorithm Watch, ce constat est partag\u00e9. La surveillance et le profilage se dirigent uniquement vers les plus d\u00e9munis, les plus marginaux. <\/span><\/span>\u201cC\u2019est un regard \u00e0 sens unique\u201d<\/span><\/span><\/em>. C\u2019est un regard vers le bas, qui cible toujours les communaut\u00e9s et les personnes marginalis\u00e9es et domin\u00e9es, en l\u2019\u00e9largissant souvent aux oppositions politiques, comme c\u2019est le cas avec la vid\u00e9osurveillance. La Quadrature approuve et rappelle que les projets de profilage des publics sont \u00e9galement en projet en France, par exemple chez P\u00f4le Emploi qui fourmille de projets avec son incubateur de startup d\u00e9di\u00e9. L\u2019association souligne d\u2019ailleurs qu\u2019une nouvelle version du site de P\u00f4le Emploi est en d\u00e9ploiement. <\/span><\/span>\u201cQui dit nouvelle version de site, dit nouvelles donn\u00e9es collect\u00e9es\u201d<\/span><\/span><\/em>. Wisman lui fait r\u00e9f\u00e9rence \u00e0 un documentaire (j\u2019ai pas retrouv\u00e9 la r\u00e9f\u00e9rence, si quelqu\u2019un l\u2019a) qui expliquait que depuis l\u2019introduction de l\u2019ordinateur, l\u2019achat sur les march\u00e9s mondiaux est devenu particuli\u00e8rement flou. On ne sait plus qui vend ni ach\u00e8te. On pourrait m\u00eame imaginer demain que des organisations puissent acheter suffisamment de nourriture pour cr\u00e9er des p\u00e9nuries. L\u2019asym\u00e9trie de l\u2019information est partout. L\u2019ordinateur a facilit\u00e9 les \u00e9changes mon\u00e9taires et de marchandises, mais a rendu plus difficile la mobilit\u00e9 des personnes. On pourrait pourtant imaginer utiliser ces outils diff\u00e9remment, estime Karolina Sztandar-Sztanderska, par exemple pour diminuer le non recours aux aides publiques. Au risque d\u2019une surveillance d\u00e9multipli\u00e9e, comme le concluait la rencontre pr\u00e9c\u00e9dente<\/a>.<\/span><\/span><\/p>\n

D\u2019autres questions fusent encore. La discrimination est-elle intris\u00e8que \u00e0 ces technologies ? Le contr\u00f4le des pauvres est bien ant\u00e9rieur aux syst\u00e8mes techniques, rappelle une autre personne. Mais sommes-nous r\u00e9unis ici pour am\u00e9liorer la conformit\u00e9 de ces syst\u00e8mes ou pour augmenter la capacit\u00e9 \u00e0 nous y opposer ?\u00a0<\/span><\/span><\/p>\n

Pour Wisman, l\u2019efficacit\u00e9 de l\u2019automatisation ne peut produire qu\u2019une soci\u00e9t\u00e9 s\u00e9gr\u00e9g\u00e9e. Nous sommes face \u00e0 une crise de l\u2019efficacit\u00e9, mais elle ne se r\u00e9soudra pas par une surveillance toujours plus forte. On ne peut pas utiliser l\u2019IA pour pr\u00e9dire des situations sociales : \u00e7a ne marche pas et \u00e7a n\u2019a jamais march\u00e9. C\u2019est de l\u2019huile de serpent, du Snake Oil<\/a> comme on dit. Il y a un risque qu\u2019en challengeant le syst\u00e8me on l\u2019aide \u00e0 s\u2019am\u00e9liorer. En 2008, les banques ont fait n\u2019importe quoi, et on les a aid\u00e9 \u00e0 se renflouer avec nos imp\u00f4ts. En retour, elles ont impos\u00e9 l\u2019aust\u00e9rit\u00e9, et l\u2019automatisation a \u00e9t\u00e9 la r\u00e9ponse aux coupes budg\u00e9taires. On manque cruellement de discussion sur le r\u00f4le et la place de l\u2019automatisation dans la soci\u00e9t\u00e9, conclut Wisman. Ce d\u00e9bat devrait venir d\u2019en bas, de ceux qui sont les plus impact\u00e9s par ces syst\u00e8mes. <\/span><\/span>\u201cEt \u00e7a peut commencer en France !\u201d<\/span><\/span><\/em>, lance-t-il comme pour redonner courage apr\u00e8s des constats trop amers.\u00a0<\/span><\/span><\/p>\n

Pour Karolina Sztandar-Sztanderska, la Pologne a la chance d\u2019avoir tr\u00e8s peu de syst\u00e8mes d\u2019aides \u00e0 la d\u00e9cision automatis\u00e9e. Depuis la fin du syst\u00e8me de profilage des demandeurs d\u2019emplois, on est retourn\u00e9 \u00e0 la situation pr\u00e9c\u00e9dente. Les agents au guichet ont retrouv\u00e9 leurs pouvoirs, avec les limites interpersonnelles que cela implique. En Pologne, finalement, on a la chance de ne pas avoir suffisamment d\u2019argent pour envisager de d\u00e9velopper des syst\u00e8mes num\u00e9riques. Comme quoi, l\u2019aust\u00e9rit\u00e9 a aussi ses avantages, ironise la chercheuse. Pour le moment, le contr\u00f4le n\u2019y est pas tr\u00e8s sophistiqu\u00e9. Notre principal moyen d\u2019action sur ces transformations consiste \u00e0 d\u00e9crire ce qu\u2019il se passe, conclut la chercheuse. Et rendre les enjeux des transformations accessibles pour les faire comprendre \u00e0 plus de gens.\u00a0<\/span><\/span><\/p>\n

Hubert Guillaud<\/p>\n

Nos comptes-rendu des s\u00e9ances du cycle \u201cD\u00e9mat\u00e9rialiser pour mieux r\u00e9gner\u201d :\u00a0<\/span><\/span><\/p>\n