A quoi servent les luttes contre la numérisation ?

Améliorer les systèmes partout déficients ou faire reculer la surveillance ? 

Quatrième rencontre du cycle “Dématérialiser pour mieux régner”; le Mouton numérique a souhaité regarder au-delà des services publics français, pour voir comment d’autres, en Europe, portent la lutte contre les algorithmes de contrôle et de profilage de l’action sociale. 

Outiller les luttes face à la numérisation des services publics d’action sociale

Après une présentation des différents partenaires de ces rencontres, les responsables du Mouton numérique rappellent que le profilage des allocataires est devenu courant. La France n’est pas un cas isolé [je me permets d’ajouter que les travaux précurseurs de Virginia Eubanks sur la numérisation des systèmes sociaux (qui ont presque 10 ans) ont montré que la mise en place de systèmes numériques dans le domaine social produit le plus souvent des dysfonctionnements, un renforcement des contrôles, et une diminution des droits à l’encontre des plus démunis, qui sont d’autant plus forts qu’ils sont renforcés par les logiques austéritaires et libérales qui président au choix de la numérisation, consistant à améliorer le contrôle pour un coût moindre]. Face aux déploiements des outils de surveillance sociale des mobilisations ont lieu ailleurs en Europe et apportent parfois des victoires sociales. C’est le cas par exemple du système mis en place à l’équivalent du Pôle emploi polonais, qu’évoque la sociologue Karolina Sztandar-Sztanderska (@sztanderska). Le système en question, mis en place en 2014, comme l’expliquait Algorithm Watch, consistait à catégoriser les chômeurs en plusieurs groupes selon leur proximité avec la recherche d’emploi pour leur fournir des aides différenciées selon leur score, au détriment de certaines catégories de la population, comme l’a montré le rapport de la fondation polonaise Panoptykon, une association militant contre la surveillance, équivalente à la Quadrature du Net. 

Elle constate beaucoup de similarités avec l’exemple français de la lutte contre la CAF qu’ont rappelé évoqué l’association Changer de Cap et la Quadrature (qui était le sujet de la réunion précédente). En Pologne également, les algorithmes n’étaient pas disponibles, et l’Agence pour l’emploi utilisait la même rhétorique que celle qu’utilise la Caisse nationale d’allocation familiale en France, à savoir que si les gens avaient accès à l’algorithme, ils pourraient l’utiliser pour tricher (alors qu’il est bien difficile de changer sa situation sociale pour parvenir à tricher avec des systèmes qui vous assignent à votre situation sociale…). Pour l’agence pour l’emploi polonaise, le grand public ne devait pas avoir accès au calcul. Pourtant, après plusieurs années de fonctionnement et 5 années de luttes, l’algorithme du Pôle emploi polonais a été déclaré inconstitutionnel en 2019. Ce système avait été critiqué dès le début par la société civile. Il était utilisé par l’agence pour catégoriser les demandeurs d’emploi et les noter en fonction de leur employabilité. Ce score décidait des prestations et services auxquels ils avaient droit (comme l’accès ou non à la formation…) et avait une influence sur les sanctions, si les demandeurs d’emplois ne faisaient pas ce qu’ils devaient faire, explique la sociologue Karolina Sztandar-Sztanderska. La principale critique à l’encontre du système, menée notamment par Panoptykon, a été de contester son opacité : le système de calcul n’était pas transparent, alors qu’il aurait dû, que les administrés avaient le droit de savoir comment l’algorithme procédait. L’autre argument reposait sur le fait qu’il n’y avait pas de mécanisme pour permettre aux chômeurs de remettre en question la classification dont ils étaient l’objet. La question de l’automatisation de la décision, était quant à elle, comme souvent, pas si claire à trancher, la frontière entre qui de la machine et de l’humain qui en valide les choix décide, étant toujours difficile à évaluer. Enfin, la dernière critique à l’encontre de ce système portait sur les données collectées, qui aurait dû être régulées par une loi votée par le parlement polonais, alors qu’ici, cette régulation était le fait d’un ministère, ce qui était pas conforme à la législation. C’est cet argument procédural qui a permis de porter l’affaire devant le tribunal constitutionnel polonais et qui a permis d’obtenir l’abrogation du programme en décembre 2019. 

La défense de l’opacité du système afin que les gens ne puissent le déjouer, a également été un argument fort pour la défense du système de contrôle social mis en place par l’Etat néerlandais, rappelle Tijmen Wisman (@TijmenWisman) de Platform Burgerrechten, une association de défense des droits civils qui a porté la lutte contre SyRI (pour system risk indication, indication de risque système), l’algorithme mis en place par les Pays-Bas pour détecter des fraudes à l’aide sociale. La lutte contre les systèmes d’oppression algorithmiques, n’est pas si simple, confesse Tijmen Wisman. Pour mener la lutte, il faut d’abord trouver des fonds, mais au début, les organisations à qui l’on s’adressait ne comprenaient pas le problème dont on parlait. On est parti au tribunal sans plaidoyer et sans campagne médiatique, qui sont pourtant nécessaires pour défier et challenger le gouvernement (mais l’association a rapidement rattrapé son retard, en lançant par exemple une campagne médiatique pour dénoncer SyRI, “Suspectés dès l’origine”, explique un excellent dossier d’Algorithm Watch sur ce combat). Par contre, il est primordial d’avoir un site pour informer les gens, rapporter et documenter. La chance de notre petite plateforme a été d’avoir reçu l’aide d’experts et d’intellectuels qui ont été les ambassadeurs de notre défense. Dans la victoire partielle remportée, la question de la transparence a été fondamentale. Le jugement final rappelle d’ailleurs que les autorités doivent expliquer les choix qu’elles font. Philip Alston, rapporteur spécial des Nations Unies sur la pauvreté extrême et les droits humains, auteur d’un rapport critique sur le déploiement de “l’Etat providence numérique”, auteur d’une lettre adressée au tribunal néérlandais, expliquait qu’accepter SyRI et la surveillance sociale et ciblée des plus pauvres signifie accepter que certains citoyens soient plus surveillés que d’autres, et donc discriminés, au profit d’un Etat de surveillance à l’encontre des plus pauvres. 

Pour une association comme  Platform Burgerrechten, il a bien sûr fallu s’entourer d’avocats, de juristes, de lobbyistes et d’ingénieurs pour mener cette bataille. Mais il faut également comprendre tout un vocabulaire de la criminalisation qui se diffuse dans les institutions publiques, comme c’est le cas de cette volonté de préserver l’opacité des systèmes, dont on peut comprendre l’importance lors d’enquêtes criminelles, mais pas lorsque les gens sont confrontés à des institutions publiques. Le risque ici, avec SyRI était de verser dans une surveillance permanente des gens. Parmi toutes les données que le système utilisait pour surveiller les quartiers pauvres où il se déployait, il était question par exemple de surveiller la consommation d’eau des ménages pour détecter à combien d’occupants cette consommation correspondait. 

Quel est le but de notre opposition à la dématérialisation ?

Pour Tijmen Wisman, l’enjeu de l’opposition a SyRi n’était pas d’améliorer le système. “Le problème du déploiement de systèmes de surveillance aux aides sociales, n’est pas leurs défaillances, mais la surveillance totale qu’ils impliquent”. Dans ce cadre, la régulation des systèmes ne suffit pas. Le but n’est pas d’améliorer les systèmes, car on oublie que cette amélioration nécessite un contrôle renforcé sur les administrés. L’audit comme la régulation visent à rendre ces systèmes de surveillance plus conformes à la législation mais ne les font pas reculer.  “La régulation ne cherche pas tant à remettre en question le déploiement de ces systèmes qu’à les rendre légaux”, et à accepter la surveillance des citoyens qui va avec. Et Wisman de dénoncer la direction vers laquelle nous conduisent les décisions européennes actuelles, qui visent à renforcer la transparence des systèmes pour les rendre incontournables.  

Tous ces exemples sont parfaitement emblématiques, complète Nikolett Aszodi (@nikkiaszodi) de l’association allemande Algorithm Watch. Faire rendre des comptes aux autorités sur les systèmes qu’elles déploient est un processus long, sinueux et très coûteux. Algorithm Watch mène un travail d’enquête, qui cartographie et répertorie les systèmes de prise de décision automatisés en Europe [ si ce n’est pas déjà fait, abonnez-vous à leur excellente newsletter ! ]. L’enjeu est de les répertorier, de montrer comment ils fonctionnent, comment ils se déploient, comme de documenter les débats et contestations qu’ils soulèvent. Mais le principal constat que nous faisons, c’est que nous ne savons pas grand-chose sur ces systèmes. On ne connaît pas les raisons de leurs déploiements, on ne sait pas comment ils se mettent en place, on n’évalue pas leurs impacts sur les systèmes administratifs comme sur les administrés, on ne connaît pas leurs buts… “La transparence est le préalable nécessaire à ce que ces systèmes rendent des comptes”. Mais elle n’est pas là, constate la responsable des politiques et du plaidoyer de l’association . 

La société civile n’a ni le temps ni l’argent pour enquêter sur ces systèmes. C’est en cela que le travail des journalistes et des chercheurs est essentiel, car comprendre ces déploiements et leurs enjeux prend du temps. Algorithm Watch s’appuie sur eux pour mettre en commun les informations et récupérer des témoignages personnels qui sont toujours très importants pour rendre compte des effets des systèmes, de leurs impacts concrets. Récemment, Algorithm Watch a lancé un programme de bourses pour aider les journalistes à enquêter, à documenter les systèmes, à les rendre visibles et à améliorer nos connaissances. Reste que les moyens d’Algorithm Watch sont limités, et pour l’association, l’enjeu désormais consiste surtout à trouver des modalités de collaborations avec d’autres acteurs, pour mieux enquêter et pour toucher plus de gens. Alors que la loi européenne sur l’intelligence artificielle se formalise, les organisations civiles doivent continuer à mettre la pression à l’Union européenne. La législation européenne sur l’IA est un énorme texte législatif. Les associations doivent s’entraider pour protéger les gens, les informer, faire du plaidoyer et mener des campagnes de communication communes pour rendre ces sujets plus visibles qu’ils ne sont, alerte Nikolett Aszodi.

Certainement un peu impressionnés par ces résultats, des représentants de Changer de Cap s’interrogent… Combien de temps ces associations ont-elles passé pour défaire ou faire reculer ces systèmes ?

En Pologne, il a fallu 5 ans, précise Karolina Sztandar-Sztanderska. L’algorithme de l’agence pour l’emploi polonaise est resté en place longtemps, malgré les critiques portées par les associations comme Panoptikon ou même par d’autres autorités publiques, comme l’autorité de protection des données personnelles polonaise, la Cnil locale, les commissaires aux droits humains (l’équivalent de notre défenseur des droits), ou la Cour des comptes locale, qui avaient tous critiqués l’efficacité de l’outil très tôt. Il y a eu 2 contentieux portés en justice. L’un lancé par la fondation Panoptikon pour accéder au code, qui a été remporté. Et un autre lancé par le défenseur des droits polonais qui a contesté la constitutionnalité du système devant le tribunal. Et Karolina de rappeler que tout est parti d’un lanceur d’alerte, d’un agent du Pôle Emploi polonais qui a révélé le problème à la presse. “Chaque étape a été un marchepied pour l’étape suivante”, permettant d’accumuler les informations. La victoire est le fruit de beaucoup de collaboration et d’innombrables petites actions individuelles. 

Vers la normalisation des systèmes, malgré leurs déficiences
Aux Pays-Bas, on a entendu parlé de problèmes autour de SyRi dès 2014, rappelle Tijmen Wisman. L’association a  mis du temps à trouver des avocats. On a lancé l’action légale en 2018 et le jugement a été rendu en 2020. Comme en Pologne, nombre d’autorités et d’intellectuels ont critiqué la mise en place de ce système de contrôle social automatisé, dénonçant le fait que le gouvernement puisse s’immiscer partout, collecter toutes les données pour exercer sa surveillance. Nous n’avons pas obtenu le jugement que nous voulions, estime Wisman. Mais le tribunal a néanmoins rappelé qu’il était essentiel que les gens puissent savoir ce que font les systèmes. Dans le cas du contentieux, nombre d’arguments que nous portions n’ont pas été retenus. Le déploiement de tels systèmes n’est pas remis en cause, mais le jugement fait jurisprudence et permet désormais d’avoir un point d’appui supplémentaire pour obtenir leur transparence. La médiatisation du scandale a été un autre succès. “Il faut retourner l’éclairage intégral que les agences braquent sur les citoyens pour tout connaître d’eux, sur les agences elles-mêmes pour obtenir d’elles la même transparence que celle qu’elles demandent aux allocataires”. 

Maud du Mouton Numérique rappelle que si on évoque les similarités de pratiques de ces agences, on sait assez peu de choses des échanges que ces différents acteurs des services publics entre eux. 

C’est exact, acquiesce Nikolett Aszodi. A Algorithm Watch, on a fait plusieurs inventaires du déploiement des systèmes d’aide à la décision automatisés en Europe, mais cette cartographie évolue très vite (voir notamment l’édition en ligne ou le rapport (.pdf) en français, ainsi que l’article que j’en avais produit à l’époque). “En 2019, les systèmes d’aide à la décision automatisés étaient l’exception, en 2021, ils sont devenus la norme”, explique Nikolett Aszodi. Les déploiements sont rapides et les outils prolifèrent. 

En regard, le débat public ne suit pas. Il ne s’est pas intensifié. Nous manquons de débats démocratiques sur le déploiement de systèmes de contrôle et de surveillance, au moins pour nous interroger collectivement sur les domaines ou les tâches qu’ils doivent accomplir et là où ils ne devraient pas aller. Mais l’évaluation est également déficiente. “Partout on met en place des systèmes et seulement parfois, rarement,  on les contrôle”. Pour beaucoup d’agences, la question de la transparence est très abstraite. La raison de la mise en œuvre de ces systèmes est très rarement documentée. Les bénéfices attendus ne sont pas expliqués. Sur les algorithmes publics, il n’y a ni justification ni démonstration des avantages qu’ils apportent. L’objectif même n’est bien souvent ni clair ni partagé. Seuls une poignée d’algorithmes européens sont considérés comme efficaces, même s’ils peuvent se révéler problématiques (à l’image d’un algorithme espagnol pour prédire le risque de violence à l’encontre des femmes). En fait, très majoritairement, les systèmes ne tiennent pas leurs promesses. En Finlande, un système d’IA pour aider les citoyens en cas de changements dans leur vie est considéré comme un emprisonnement car en fait, il limite l’accès de nombre de citoyens aux services publics. La technologie est trop souvent promue comme étant capable d’apporter des solutions aux problèmes humains, mais c’est là un discours idéologique dont on ne trouve pas d’exemple concrets dans le déploiement des systèmes sociaux, rappelle Nikolett Aszodi. 

Dans le public, les interrogations surgissent. Y’a-t-il des systèmes qui s’intéressent aux riches et pas seulement aux pauvres ? Les chômeurs, les précaires interrogent assez peu la manière dont ils sont calculés… 

Pour Algorithm Watch, ce constat est partagé. La surveillance et le profilage se dirigent uniquement vers les plus démunis, les plus marginaux. “C’est un regard à sens unique”. C’est un regard vers le bas, qui cible toujours les communautés et les personnes marginalisées et dominées, en l’élargissant souvent aux oppositions politiques, comme c’est le cas avec la vidéosurveillance. La Quadrature approuve et rappelle que les projets de profilage des publics sont également en projet en France, par exemple chez Pôle Emploi qui fourmille de projets avec son incubateur de startup dédié. L’association souligne d’ailleurs qu’une nouvelle version du site de Pôle Emploi est en déploiement. “Qui dit nouvelle version de site, dit nouvelles données collectées”. Wisman lui fait référence à un documentaire (j’ai pas retrouvé la référence, si quelqu’un l’a) qui expliquait que depuis l’introduction de l’ordinateur, l’achat sur les marchés mondiaux est devenu particulièrement flou. On ne sait plus qui vend ni achète. On pourrait même imaginer demain que des organisations puissent acheter suffisamment de nourriture pour créer des pénuries. L’asymétrie de l’information est partout. L’ordinateur a facilité les échanges monétaires et de marchandises, mais a rendu plus difficile la mobilité des personnes. On pourrait pourtant imaginer utiliser ces outils différemment, estime Karolina Sztandar-Sztanderska, par exemple pour diminuer le non recours aux aides publiques. Au risque d’une surveillance démultipliée, comme le concluait la rencontre précédente.

D’autres questions fusent encore. La discrimination est-elle intrisèque à ces technologies ? Le contrôle des pauvres est bien antérieur aux systèmes techniques, rappelle une autre personne. Mais sommes-nous réunis ici pour améliorer la conformité de ces systèmes ou pour augmenter la capacité à nous y opposer ? 

Pour Wisman, l’efficacité de l’automatisation ne peut produire qu’une société ségrégée. Nous sommes face à une crise de l’efficacité, mais elle ne se résoudra pas par une surveillance toujours plus forte. On ne peut pas utiliser l’IA pour prédire des situations sociales : ça ne marche pas et ça n’a jamais marché. C’est de l’huile de serpent, du Snake Oil comme on dit. Il y a un risque qu’en challengeant le système on l’aide à s’améliorer. En 2008, les banques ont fait n’importe quoi, et on les a aidé à se renflouer avec nos impôts. En retour, elles ont imposé l’austérité, et l’automatisation a été la réponse aux coupes budgétaires. On manque cruellement de discussion sur le rôle et la place de l’automatisation dans la société, conclut Wisman. Ce débat devrait venir d’en bas, de ceux qui sont les plus impactés par ces systèmes. “Et ça peut commencer en France !”, lance-t-il comme pour redonner courage après des constats trop amers. 

Pour Karolina Sztandar-Sztanderska, la Pologne a la chance d’avoir très peu de systèmes d’aides à la décision automatisée. Depuis la fin du système de profilage des demandeurs d’emplois, on est retourné à la situation précédente. Les agents au guichet ont retrouvé leurs pouvoirs, avec les limites interpersonnelles que cela implique. En Pologne, finalement, on a la chance de ne pas avoir suffisamment d’argent pour envisager de développer des systèmes numériques. Comme quoi, l’austérité a aussi ses avantages, ironise la chercheuse. Pour le moment, le contrôle n’y est pas très sophistiqué. Notre principal moyen d’action sur ces transformations consiste à décrire ce qu’il se passe, conclut la chercheuse. Et rendre les enjeux des transformations accessibles pour les faire comprendre à plus de gens. 

Hubert Guillaud

Nos comptes-rendu des séances du cycle “Dématérialiser pour mieux régner” : 

https://hubertguillaud.wordpress.com/2023/02/04/a-quoi-s