Sommet mondial pour l’action sur l’IA – ACCAD : Anti Compteurs Communicants Artois (62)-Douaisis (59)

Un document d’Amnesty International

Face aux menaces posées par l’intelligence artificielle (IA) sur nos droits fondamentaux, l’urgence de réglementations efficaces

Le retour de Donald Trump à la présidence des États-Unis s’est accompagné d’annonces fracassantes des dirigeants de géants américains de la Tech (X, Meta, Amazon, Apple…) qui l’ont rallié, affichant leur volonté de dérèglementer les usages des nouvelles technologies, pour favoriser l’innovation et le progrès. En ligne de mire notamment, les règles européennes qui tentent d’encadrer les pratiques, notamment pour contenir les opérations de désinformation ou de haine en ligne, ou de faire respecter nos libertés individuelles.

Cette offensive portée par la nouvelle administration américaine et par les géants de la Silicon Valley intervient alors que le déploiement à grande vitesse de l’IA fait peser des menaces exponentielles sur nos droits fondamentaux, notamment en restreignant nos libertés ou en renforçant des discriminations existantes. Ces questions, pourtant essentielles, seront largement ignorées lors du Sommet mondial pour l’action sur l’IA que la France s’apprête à accueillir les 10 et 11 février 2025. Une belle vitrine sur l’avenir qui n’exposera pas les préjudices liés à l’IA déjà constatés et documentés.

Si l’impact de l’IA sur l’environnement ou les enjeux relatifs à l’IA générative soulèvent aujourd’hui de fortes inquiétudes, Amnesty International France expose dans ce dossier de presse quatre risques majeurs en matière de droits humains : la surveillance généralisée et discriminatoire ; l’automatisation des services publics ; la propagation algorithmique de contenus toxiques, haineux ou erronés ; l’autonomisation des armes (partie I).

Face à ces risques avérés et aux pressions exercées par les géants américains de la Tech pour développer leurs activités en dehors de tout contrôle, Amnesty International France souligne l’urgence de mettre en place des règles fortes au niveau international pour que l’IA soit facteur de progrès pour toutes et tous, et non d’une régression sans précédent des droits et libertés (partie II).

I. LES ATTEINTES AUX DROITS HUMAINS LIÉES À L’IA

1. Surveillance généralisée et discriminatoire

Partout dans le monde, les États utilisent des technologies de surveillance, présentées comme efficaces et nécessaires pour garantir la sécurité. La surveillance assistée par IA permet de contrôler, suivre, analyser et identifier des personnes, des lieux et des objets.

Les États ont notamment de plus en plus recours aux technologies assisté par IA comme aide au maintien de l’ordre lors de manifestations et d’événements sportifs ou contre des populations marginalisées, en particulier des personnes migrantes ou réfugiées. Ces outils ont la capacité d’identifier, de suivre, de distinguer et de repérer des personnes, compromettant ainsi leurs droits à la vie privée, aux libertés d’expression et de réunion pacifique, à l’égalité et à la non-discrimination.

Les recherches menées par Amnesty International aux États-Unis, en Inde ou dans les Territoires palestiniens occupés ont montré comment les systèmes de surveillance numérisée et de reconnaissance faciale reproduisent des formes dangereuses de discrimination à l’encontre des minorités raciales et ethniques, de manière à criminaliser leur existence même.

Les gouvernements utilisent également des logiciels espions, officiellement pour cibler « les criminels et les terroristes ». En réalité, les personnes les plus souvent visées par des logiciels comme Pegasus ou Predator sont des activistes des droits humains, des journalistes et des opposant·e·s politiques. Les enquêtes d’Amnesty International menées en Arménie, en Inde, en République dominicaine et en Serbie montrent comment ces logiciels espions hautement intrusifs portent atteinte à de nombreux droits humains, notamment au droit à la vie privée et aux droits à la liberté d’expression, d’opinion, de réunion et d’association.

Par ailleurs, les conséquences négatives des logiciels espions ne touchent pas tout le monde de la même manière. L’instrumentalisation des données peut entraîner d’autres atteintes aux droits humains, en ligne et hors ligne, notamment pour des personnes subissant déjà de la discrimination en raison de leur identité. Ces atteintes peuvent prendre diverses formes, comme le chantage, le doxxing, le stalking en ligne, le harcèlement et l’intimidation.

2. Automatisation des services publics

L’utilisation croissante par les États de technologies dans les services publics, et notamment dans le secteur de la protection sociale, s’est accompagnée d’une augmentation des risques en matière de droits humains.

Si l’objectif affiché de ces initiatives est généralement d’aider les gouvernements à mieux cibler les personnes ayant besoin d’aide sociale, d’améliorer les systèmes administratifs, de détecter les fraudes et de renforcer la sécurité, de nombreux travaux montrent que la dématérialisation de la protection sociale fait peser de multiples risques sur les droits humains et peut exacerber les inégalités.

Les recherches menées par Amnesty International au Danemark ont par exemple montré comment le système de protection sociale assisté par IA alimente la surveillance de masse et risque d’entraîner une discrimination des groupes marginalisés. En Serbie, l’adoption d’un système de décision semi-automatisé a empêché de nombreuses personnes, en particulier des Roms et des personnes en situation de handicap, d’accéder à l’aide sociale. Aux Pays-Bas, l’utilisation d’un système de décision algorithmique pour la détection des fraudes discriminait des personnes sur la base de leur nationalité. Tandis qu’en France la Caisse nationale des allocations familiales continue d’utiliser un algorithme discriminatoire ciblant les personnes les plus précaires.

Bien que les technologies utilisées dans le secteur public soient généralement présentées comme étant objectives et impartiales, il est pratiquement impossible de mettre au point des technologies neutres, car les sociétés qui les adoptent sont elles-mêmes porteuses de discrimination sociale, politique et structurelle. Ainsi, les technologies reflètent inévitablement les préjugés et la vision du monde des personnes qui les conçoivent. L’intégration de technologies dans les systèmes de protection sociale peut avoir des conséquences imprévisibles et indésirables sur les individus. Ces conséquences peuvent varier grandement selon que les personnes touchées sont déjà sujettes à des formes de discrimination et de marginalisation systémiques et intersectionnelles.

3. Propagation algorithmique de contenus toxique, haineux et erronés

Les géants du numérique exercent un immense pouvoir sur nos vies. Notre dépendance de plus en plus forte à leur égard a permis à une poignée d’entreprises de bafouer notre droit au respect de la vie privée et de suivre tous nos faits et gestes, modifiant ainsi nos interactions et créant des prédictions sur nos comportements pour leur profit.

Leur modèle d’activité fondé sur la surveillance représente une menace systémique pour les droits humains, notamment pour les droits des enfants. Les recherches d’Amnesty International mettent en lumière les atteintes dont sont victimes les enfants et les jeunes qui utilisent TikTok. En cause : le système de recommandation de la plateforme qui amplifie les contenus sur la dépression et le suicide qui risquent d’aggraver des problèmes de santé mentale existants.

Par ailleurs, les algorithmes des réseaux sociaux conçus pour maximiser à tout prix la participation des internautes permettent et amplifient la diffusion de discours haineux, l’incitation à la violence, le harcèlement en ligne et la censure de certains groupes menacés. Amnesty International a documenté ce phénomène dans le contexte du conflit à Gaza, des violences ethniques contre la communauté tigréenne en Éthiopie ou contre les Rohingya au Myanmar.

La diffusion d’informations fausses et trompeuses facilitée par les géants du numérique a des conséquences désastreuses sur les sociétés du monde entier. La mésinformation et la désinformation politiques vont probablement prendre de l’ampleur, constituant un risque particulièrement grave en période d’élection. Dans de nombreux endroits du monde, des forces politiques répressives ont instrumentalisé les réseaux sociaux pour s’en prendre à des minorités et dresser des communautés les unes contre les autres en vue d’augmenter leurs chances de succès aux élections.

La technologie doit faciliter l’accès à l’information et non la censurer, contrairement à ce que l’on peut constater, notamment aux États-Unis où des entreprises technologiques sont accusées de permettre la censure en ligne de contenus liés aux droits reproductifs4.L’autonomisation des armes

4. Autonomisation des armes

Les nouvelles technologies basées sur des degrés d’autonomie variables se répandent dans les fonctions militaires, de sécurité et de maintien de l’ordre. Certains systèmes d’armes autonomes sont aujourd’hui capables de sélectionner et d’attaquer des cibles sans intervention humaine.

Le développement et l’utilisation de systèmes capables de prendre des décisions de vie ou de mort soulèvent des questions fondamentales concernant les droits à la vie et à la dignité humaine ainsi que la responsabilité des décisions prises par les forces de sécurité ou les forces armées au regard du droit international humanitaire.

Si les systèmes d’armes autonomes commencent à être déployés par les armées dans des situations de conflit comme en Ukraine, l’adoption de ces technologies par les forces de l’ordre n’est peut-être plus très loin. Elle menacerait alors le droit à la vie, à la liberté et à la sécurité de la personne, le droit de ne pas être soumis à la torture et à d’autres peines ou traitements cruels, inhumains ou dégradants, ainsi que le droit à la liberté de réunion pacifique. Elle saperait les principes d’une application de la loi respectueuse des droits humains, qui reposent sur des relations humaines entre les agents chargés de son application et le public qu’ils servent.

II. L’URGENCE DE RÉGLEMENTER L’IA POUR PROTÉGER NOS DROITS FONDAMENTAUX

Alors que certains usages de l’IA montrent déjà l’impact délétère qu’elle peut avoir sur nos libertés et droits fondamentaux, l’emballement des innovations et applications, associé aux attaques contre toute réglementation du secteur par des géants de la Tech, montre l’urgence de réguler le secteur.

1. Des principes essentiels à respecter

Une approche critique du « technosolutionnisme »

Dans les délibérations visant à relever les défis complexes posés par l’IA, les États, ainsi que d’autres acteurs publics et privés, doivent évaluer de manière critique si le recours à l’automatisation et à l’IA constitue la solution la plus adaptée pour atteindre les objectifs visés en matière de politique publique ou d’autres objectifs affichés. Les “solutions techniques”, simples d’apparence, empêchent souvent de s’attaquer aux causes profondes de problèmes politiques ou sociaux complexes. Dans le cadre de l’évaluation de la pertinence du recours à une technologie donnée, il convient :

• d’estimer les ressources financières nécessaires à son développement et à son déploiement, ainsi que son impact sur l’environnement ;

• de veiller à ce que le déploiement de l’IA n’exacerbe pas les violations des droits humains ou ne présente pas de risque à cet égard. Des lignes rouges doivent être tracées concernant les technologies incompatibles avec les droits humains (voir plus bas les mesures préconisées) ;

• d’identifier les problèmes systémiques sous-jacents qui requièrent une attention particulière et reconnaître les limites des solutions technologiques proposées afin d’explorer des solutions et des approches alternatives. Par exemple, si le recours croissant aux caméras de vidéosurveillance représente un danger pour nos libertés, il ne saurait résoudre les problèmes de délinquance dans l’espace public.

Une réglementation de l’IA contraignante et fondée sur les droits humains

Les États doivent ériger en priorité la mise en place d’une réglementation de l’IA contraignante et applicable à tous les niveaux de gouvernance. Cela signifie :

• donner la priorité à l’adoption et à la mise en œuvre de mesures réglementaires contraignantes et applicables, définies au nom de l’intérêt commun, face aux mesures d’autoréglementation du secteur. Prenant la forme de lignes directrices, de principes éthiques, de codes de conduite ou d’engagements non contraignants, ces mesures d’autoréglementation restent guidées par le bon vouloir et les seuls intérêts des principaux acteurs du secteur ;

• de conditionner tout effort de réglementation à des priorités en matière de droits humains, et non par des objectifs d’harmonisation du marché ou de compétitivité mondiale, afin de garantir une innovation respectueuse des droits ;

• prendre en compte les préjudices croisés (par exemple à la fois liés au sexe, à l’origine ethnique, au statut migratoire et à l’appartenance religieuse) susceptibles d’être causés par les technologies d’IA ;

• tenir compte non seulement de l’incidence des technologies d’IA au sein de leur territoire, mais aussi de l’impact extraterritorial de celles-ci lors de leur développement (par exemple, en se penchant sur les pratiques d’extraction des données et du travail) et déploiement (par exemple, en empêchant l’exportation de technologies d’IA non respectueuses des droits depuis leur territoire).

Une participation concrète des populations concernées

Les États doivent garantir une participation concrète des populations concernées afin d’élaborer une réglementation de l’IA qui protège et promeuve les droits humains. Cela signifie :

• placer les besoins et priorités des populations concernées au cœur des discussions autour des politiques. Il convient par ailleurs d’engager des ressources pour permettre la participation égalitaire d’activistes et organisations représentatifs, de garantir des conditions égales pour l’ensemble des parties prenantes et détentrices et détenteurs de droits, et enfin de prendre davantage en compte l’expertise empirique ;

• veiller à ce que des activistes et organisations représentatifs aient tout autant voix au chapitre quant à la définition de règles sur l’IA, et engager des ressources publiques pour permettre aux organisations locales de participer à des processus d’élaboration de politiques souvent longs et coûteux ;

• mettre en place des processus d’élaboration de politiques clairs, faciles d’accès, transparents et explicables qui permettent à une grande diversité de détentrices et détenteurs de droits d’y participer de façon concrète et égalitaire ;

• garantir des conditions égales permettant la participation d’organisations locales et d’autres actrices et acteurs de la société civile en limitant le pouvoir de pression du secteur privé et des acteurs étatiques ;

• mettre en avant et placer au centre des politiques et discours régionaux et mondiaux sur l’IA les voix et priorités des populations concernées et des actrices et acteurs de la société civile appartenant à la majorité mondiale. Une approche universelle de la réglementation de l’IA est à proscrire.

En effet, si l’on considère que ce sont les efforts réglementaires à l’initiative du Nord, tels que la loi sur l’IA de l’UE, qui établissent aujourd’hui dans le monde les normes en matière de réglementation du numérique, il convient d’accorder tout autant d’attention aux initiatives législatives non moins importantes lancées au Brésil, en Inde et d’autres pays du Sud, tant sur le territoire de ces pays qu’au-delà de leurs frontières.

Une stratégie « universelle » de réglementation de l’IA émanant du Nord (et pilotée par celui-ci) et soumise aux fortes pressions de ses géants technologiques risque de conduire à l’adoption d’une législation biaisée, perpétuant les rapports de domination, et inadaptée aux enjeux et besoins des personnes concernées dans les autres pays du monde.

2. Des mesures essentielles à adopter

Amnesty International exhorte les responsables politiques à appliquer à tout le moins les recommandations suivantes dans le contexte de l’élaboration de cadres de gouvernance locaux, nationaux ou régionaux régissant le développement et le déploiement de l’IA.

• Proscrire formellement le développement et le déploiement de technologies d’IA incompatibles avec les droits humains. Cela inclut : la reconnaissance faciale à des fins d’identification, la reconnaissance des émotions et d’autres pratiques de surveillance basées sur la biométrie ; les systèmes automatisés d’évaluation des risques et de profilage dans le contexte de la gestion de la migration ; les systèmes d’analyse prédictive servant à empêcher, freiner et prévenir la migration ; l’utilisation de l’IA à des fins de maintien de l’ordre prédictif ; l’utilisation de systèmes d’IA à des fins de notation sociale.

• S’opposer aux failles et aux dérogations susceptibles d’entraîner des violations de droits humains, notamment en refusant les dérogations sans réserve ou disproportionnées fondées sur des motifs militaires, de maintien de l’ordre ou de sécurité nationale ; en refusant toute dérogation générale qui empêcherait la réglementation de l’IA d’être appliquée aux phases de recherche et de développement du cycle de vie de l’IA ; en refusant d’accorder aux entreprises qui développent des systèmes d’IA la possibilité de s’affranchir des règles établies ; en veillant à ce que des garanties techniques et en matière de droits humains s’appliquent aux technologies d’IA exportées.

• Faire appliquer la diligence requise en matière de droits humains tout au long du cycle de vie des technologies d’IA, afin de mettre en évidence les atteintes aux droits humains susceptibles d’apparaître au niveau de n’importe quel maillon de la chaîne d’approvisionnement ou à tout moment du cycle de vie du produit.

• Mettre en place des mesures de transparence obligeant les acteurs qui développent et déploient des technologies d’IA à rendre des comptes au public.

• Donner des moyens d’agir aux personnes et populations concernées, notamment en garantissant le droit à un recours effectif contre les autorités gouvernementales et les acteurs qui déploient des systèmes d’IA en cas de violation de droits ; en garantissant aux personnes concernées le droit à l’information et à des explications quant aux systèmes de prise de décisions recourant à l’IA ; en garantissant aux personnes concernées des voies de recours judiciaires et non judiciaires en cas de violation de leurs droits par des systèmes d’IA.

CONCLUSION

À l’ère du tout-numérique et de l’explosion de l’IA, qui impacte déjà nos vies et nos sociétés, la lutte pour préserver nos droits fondamentaux et promouvoir les droits humains est essentielle. Toutes et tous nous devons pouvoir nous exprimer en ligne, partager des opinions, créer, utiliser et accéder à la technologie de manière sûre et juste.

La technologie peut être un moyen d’exercer sa liberté d’expression, de demander des comptes aux gouvernements et de dénoncer des actes répréhensibles.

Cependant, la technologie peut aussi représenter une menace systémique sur les droits humains, en reproduisant la discrimination structurelle des groupes marginalisés dans les domaines du maintien de l’ordre, de la gestion de l’immigration, des prestations sociales et de l’accès aux soins de santé.

Les outils de surveillance exercent également une influence néfaste sur les groupes déjà marginalisés, et ce de diverses façons et dans le monde entier.

Pour que la technologie accorde une place centrale aux personnes et aux droits humains, Amnesty International s’est fixée trois objectifs principaux.

• Recâbler Internet afin que les personnes et les droits humains occupent une place prépondérante, en veillant à ce que les géants technologiques soient soumis à une réglementation qui protège efficacement les droits fondamentaux, et à ce que les entreprises en général soient plus transparentes et plus responsables.

• Résister à une utilisation de la technologie qui vise à réduire au silence les militant·e·s, en empêchant la surveillance illégale, la censure et les coupures de l’accès à Internet.

• Réécrire le code de façon à protéger les droits humains, en faisant en sorte que la discrimination et les préjugés ne soient plus programmés dans les algorithmes qui prennent des décisions susceptibles de changer des vies.