POUSSÉ·E·S VERS LES TÉNÈBRES
COMMENT LE FIL « POUR TOI » ENCOURAGE L’AUTOMUTILATION ET LES IDÉES SUICIDAIRES
Résumé
« Avez-vous déjà regardé une plaquette de comprimés en pensant à tout avaler ? Avez-vous déjà simplement souhaité en finir ? Avez-vous déjà pensé au soulagement que vous ressentiriez, à toute cette douleur qui disparaîtrait ? » Sur fond de jeu d’arcade où de petits personnages pixélisés circulent dans un labyrinthe, une voix produite par intelligence artificielle (IA) prononce ces phrases lors d’une séquence vidéo d’une demi-minute. Alors qu’elle visionne et revisionne cette séquence, puis passe à la suivante, la personne de 13 ans qui parcourt ces vidéos ne ressent rien. Et pour cause : il s’agit d’un compte automatisé créé et programmé par Amnesty International et l’Algorithmic Transparency Institute pour simuler et étudier la réalité numérique dans laquelle vivent les enfants et les jeunes qui présentent des problèmes de santé mentale comme l’anxiété ou la dépression. À chaque heure passée sur le fil « Pour toi » de TikTok, ce sont toujours plus de vidéos « recommandées » qui montrent des enfants et des jeunes en pleurs, ou seuls dans le noir, accompagnées de textes exprimant des pensées dépressives ou de voix sans visage décrivant leur souffrance, leurs actes d’automutilation et leurs pensées suicidaires.
Au cours des trois dernières années, marquées par la pandémie de COVID-19, TikTok est devenu une plateforme mondiale, attirant des centaines de millions d’enfants et de jeunes. Sa page « Pour toi » et le système de recommandation par algorithme sur laquelle elle se fonde ont joué un rôle crucial, rendant la plateforme omniprésente dans la vie des enfants et des jeunes. Le rapport I feel exposed: Caught in TikTok’s Surveillance Web, publié en accompagnement au présent document, met en évidence le modèle profondément discriminatoire et intrusif de surveillance à des fins mercantiles qui sous-tend le modèle d’activité de TikTok. Ce rapport complémentaire porte sur la surveillance des utilisateurs et utilisatrices, les décisions en matière de conception et les recommandations de contenu personnalisées que TikTok exploite pour obtenir la « participation » de ses utilisateurs et utilisatrices, ainsi que l’impact préjudiciable de ces outils dans le monde réel pour les enfants et les jeunes.
Le système de recommandation de TikTok, autrement dit l’ensemble d’algorithmes qui analysent les intérêts et les modes de participation des utilisateurs et utilisatrices, pour les mettre en correspondance avec de nouvelles vidéos afin que ces personnes demeurent investies émotionnellement et que leurs yeux restent fixés sur le fil, n’a pas été conçu pour produire une « spirale » de contenu dépressif. Cependant, si de jeunes utilisateurs et utilisatrices montrent un intérêt net pour un contenu relatif à la santé mentale, c’est à ce type de contenu que le système les associera en vue d’optimiser leur participation. Si le compte automatique créé aux fins de l’étude était celui d’un être humain, mieux à même de distinguer ce qui est pertinent de ce qui ne l’est pas, le système produirait ces recommandations encore plus rapidement.
Voici comment « Luis » (prénom modifié), un étudiant de 21 ans vivant à Manille et souffrant de troubles bipolaires diagnostiqués, a décrit son expérience avec le fil « Pour toi » de TikTok :
« Quand je n’avais pas le moral, je pense que 80 % [des contenus] étaient liés à la santé mentale. C’est une sorte d’engrenage. C’est une spirale infernale, parce que ça commence avec une seule vidéo. Si une vidéo parvient à capter ton attention, même si tu ne l’aimes pas, elle t’est de nouveau présentée quand tu ouvres TikTok la fois suivante et, parce qu’elle te semble familière, tu la regardes à nouveau et alors, sa fréquence d’apparition dans ton fil augmente exponentiellement ».
Ce rapport se fonde sur une étude documentaire, une enquête de cadrage, des discussions de groupe et des entretiens avec plus de 300 enfants et jeunes de deux des pays où le taux d’utilisation des réseaux sociaux est le plus élevé au monde (le Kenya et les Philippines) ainsi que sur une enquête technique, menée conjointement avec l’Algorithmic Transparency Institute et AI Forensics, qui ont joué le rôle de partenaires techniques. À cet effet, plus de 30 comptes automatisés ont été utilisés afin de comparer les résultats entre le Kenya et les États-Unis, outre les expériences réalisées manuellement au Kenya, aux Philippines et aux États-Unis.
Pour l’audit automatisé, l’équipe de recherche a créé 40 comptes automatisés avec quatre personas prédéfinies présentant divers degrés d’intérêt pour les contenus liés à la santé mentale, de façon à imiter différents comportements adoptés par des enfants sur TikTok. Chaque compte a été paramétré pour fonctionner par sessions uniques de près de 60 minutes par jour pendant 10 jours. Les comptes ont été divisés en quatre sous-groupes correspondant chacun à un certain comportement de défilement des contenus, chaque sous-groupe revisionnant des vidéos associées à un ensemble donné de termes et de hashtags et passant le contenu sans rapport avec ceux-ci : 20 comptes ont été paramétrés pour imiter les comportements de personnes de 13 ans aux États-Unis, tandis que 20 autres simulaient les comportements d’enfants au Kenya (dont 11 ont été inclus dans l’analyse). L’âge correspondant aux comptes (13 ans) a été choisi afin de pouvoir examiner les recommandations proposées à la tranche d’âge la plus jeune autorisée à utiliser TikTok, sachant que la plateforme applique aux comptes concernés des mesures de sécurité propres aux adolescent·e·s. Dans le cadre de l’expérience complémentaire réalisée manuellement, des interactions d’une heure entre l’équipe de recherche et le fil « Pour toi » de comptes nouvellement créés imitant eux aussi le comportement d’enfants âgés de 13 ans ont été enregistrées.
D’après les recherches d’Amnesty International, TikTok a porté à leur maximum les caractéristiques addictives des choix de conception et des stratégies de participation pour lesquels ont opté des entreprises de réseaux sociaux concurrentes, encourageant un nivellement vers le bas au sein d’une poignée de géants du secteur rivalisant pour obtenir le plus grand nombre d’utilisateurs et utilisatrices et le taux de participation le plus élevé. TikTok a adopté cette ligne de conduite en dépit des éléments scientifiques de plus en plus nombreux qui mettent en évidence les graves risques liés à une utilisation addictive des réseaux sociaux, en particulier pour la santé des enfants et des jeunes, notamment les problèmes de sommeil et d’attention, et même des modifications de la structure cérébrale analogues à celles observées chez les personnes souffrant d’une dépendance à la drogue.
Outre son caractère addictif, le fil « Pour toi » de TikTok comporte encore d’autres risques pour les enfants et les jeunes ayant déjà des problèmes de santé mentale. Une enquête technique réalisée par Amnesty International, l’Algorithmic Transparency Institute (National Conference on Citizenship) et AI Forensics montre que les enfants et les jeunes qui regardent des contenus relatifs à la santé mentale sur la page « Pour toi » de la plateforme peuvent facilement tomber dans des « spirales » de contenus potentiellement préjudiciables, notamment des vidéos qui idéalisent et encouragent les pensées dépressives, l’automutilation et le suicide.
Au bout de cinq ou six heures passées sur la plateforme, presque une vidéo sur deux présentées aux comptes automatisés, programmés pour simuler le comportement d’un enfant de 13 ans (au Kenya et aux États-Unis) présentant un intérêt pour la santé mentale, était relative à ce sujet et potentiellement nocifs, soit un volume 10 fois plus important que celui présenté aux comptes n’ayant indiqué aucun intérêt pour le sujet. Une analyse manuelle de 540 vidéos recommandées à un échantillon de ces comptes automatisés a montré une progression régulière : 17 % des vidéos présentées la première heure étaient classées comme potentiellement préjudiciables contre 44 % des contenus proposés la 10e heure (sur la base de sessions d’une heure réparties sur 10 jours).
Amnesty International a observé un effet de « spirale » encore plus rapide, associé à un taux encore plus élevé de contenu potentiellement dangereux lorsque les chercheurs et chercheuses ont revisionné manuellement des vidéos liées à la santé mentale suggérées à un public censé être composé d’enfants de 13 ans au Kenya, aux Philippines et aux États-Unis. Parmi les recommandations proposées à un compte situé aux Philippines, la première vidéo accompagnée du hashtag « #depresionanxiety » (sic) (« dépressionanxiété ») et montrant un garçon en état de détresse a été suggérée au bout de 67 secondes de défilement du contenu recommandé sur la page « Pour toi ». À partir de 12 minutes de défilement, 58 % des publications recommandées avaient un rapport avec l’anxiété, la dépression, l’automutilation et/ou le suicide, et étaient catégorisées comme pouvant avoir des effets néfastes sur les enfants et les jeunes souffrant déjà de problèmes de santé mentale.
Dans le cadre de l’expérience manuelle menée aux États-Unis, la quatrième vidéo présentée était taguée « #paintok » (« douleurtok »). Son contenu portait sur le texte suivant : « Quand tu te rends compte qu’on ne t’a jamais fait passer avant quoi que ce soit de ta vie, mais que tu es juste cette personne qui comble le vide dans les vies des autres jusqu’à ce qu’ils n’aient plus besoin de toi. » À partir de la 20e vidéo (soit au bout de moins de trois minutes de connexion), 57 % des vidéos avaient un rapport avec des problèmes de santé mentale, avec au moins neuf publications qui idéalisaient, banalisaient ou encourageaient le suicide en seulement une heure.
Dans le cadre de ces expériences manuelles, c’est le compte kenyan qui a vu la progression la plus lente vers un fil rempli de contenus relatifs à la dépression. Néanmoins, une fois ce stade atteint (20 minutes après le début de l’expérience), 72 % des vidéos recommandées au cours des 40 minutes suivantes étaient en lien avec des difficultés de santé mentale, avec au moins cinq références aux pensées suicidaires ou au désir de mort de la personne ayant créé le contenu. Absolument aucune des vidéos relatives à la santé mentale n’avait été produite par un·e professionnel·le de la santé mentale ni une organisation de santé mentale reconnue.
Le cas de Molly Russell, l’adolescente britannique de 14 ans qui s’est donné la mort après avoir visionné du contenu lié à la dépression sur Instagram, montre de la manière la plus tragique qui soit qu’exposer des jeunes présentant des symptômes dépressifs à un fil constitué d’une quantité importante de publications qui évoquent, banalisent voire idéalisent les pensées dépressives, l’automutilation et le suicide sur les réseaux sociaux peut aggraver des problèmes de santé mentale préexistants chez les jeunes utilisateurs et utilisatrices et encourager ainsi des actes dangereux et même dévastateurs dans la vie réelle. De telles interférences avec les pensées et les émotions d’une personne constituent une atteinte au droit à la liberté de pensée et au droit à la santé.
Compte tenu de la fragilité émotionnelle des enfants et des jeunes adultes, qui a fait l’objet de beaucoup d’études, et des nombreux éléments rapportés par la société civile et les médias, TikTok doit savoir et s’être rendu compte que son système algorithmique de recommandation risque de faire entrer les jeunes utilisateurs et utilisatrices dans une « spirale » de publications potentiellement dangereuses.
Pour remplir ses obligations aux termes des Principes directeurs relatifs aux entreprises et aux droits de l’homme [Organisation des Nations unies (ONU)], TikTok doit mettre en place comme il se doit une procédure de diligence raisonnable en matière de droits humains qui lui permette de cerner ses incidences réelles et potentielles sur les droits humains, de les prévenir et de les atténuer, ainsi que de rendre compte de la manière dont il y remédie. Dans le cadre de cette procédure, l’entreprise doit déceler les risques pour les enfants et les jeunes qui sont inhérents à la conception de sa plateforme, compte tenu des éléments de plus en plus nombreux qui attestent les risques systémiques liés aux systèmes algorithmiques de recommandation dont ont fait état les médias, les organisations de la société civile et les institutions internationales, et prendre des mesures pour les atténuer. La réponse de l’entreprise aux questions d’Amnesty International fait apparaître des mesures disparates comme la redirection de certaines recherches vers des ressources d’aide, la possibilité de « rafraîchir » le fil et des partenariats avec des organisations de soutien en matière de santé mentale. La réaction de TikTok témoigne de l’absence de procédures adéquates face au caractère systémique de ces risques, et les mesures et outils de sécurité mis en place par l’entreprise sont loin d’être à la hauteur de l’ampleur des risques systémiques décrits dans ce rapport.
Quoi qu’il en soit, l’action isolée d’une seule entreprise ne saurait suffire à contenir les effets d’un modèle économique fondamentalement incompatible avec les droits humains, en particulier le droit au respect de la vie privée, le droit à la liberté de pensée et le droit à la santé. Par conséquent, il faut que les États réglementent efficacement les activités des « géants du numérique » comme TikTok, conformément au droit international relatif aux droits humains et aux normes connexes, de façon à protéger les droits des enfants et des jeunes.
Amnesty International appelle TikTok à mettre en oeuvre de toute urgence les recommandations suivantes :
- Transition vers un modèle d’activité respectueux des droits qui ne se fonde pas sur un suivi intrusif des données. Pour commencer, TikTok doit veiller à ce que ses politiques et processus de diligence nécessaire en matière de droits humains prennent en compte les risques systémiques et les incidences généralisées sur les droits humains qui sont liés à son modèle d’activité, en particulier en ce qui concerne le droit au respect de la vie privée, le droit à la liberté de pensée et le droit à la santé.
- Il faut que TikTok cesse de maximiser « la participation des utilisateurs et utilisatrices » aux dépens de la santé et des autres droits humains de ceux-ci. Dans le cadre de son processus de diligence nécessaire en matière de droits humains, TikTok doit déceler, en coopération avec les utilisateurs et utilisatrices, y compris les enfants et les jeunes, ainsi qu’avec des spécialistes indépendants, les éléments de conception qui encouragent une utilisation addictive de la plateforme et des comparaisons sociales, et les remplacer par une expérience axée sur la « sécurité par la conception » et l’intérêt supérieur de l’enfant.
- Pour respecter la vie privée des utilisateurs et utilisatrices et leur donner une réelle capacité de choix et de contrôle, un écosystème de réseaux sociaux sans profilage devrait être la norme et non pas une option parmi d’autres. Les algorithmes utilisés par TikTok et les autres plateformes en ligne pour organiser le contenu ne devraient donc pas être basés par défaut sur le profilage (par exemple, en fonction du temps de visionnage ou de la participation), et doivent reposer sur une démarche volontaire d’inscription plutôt que de désinscription, le consentement pour l’inscription devant être spécifique et donné en connaissance de cause (notamment grâce à l’utilisation d’un langage accessible aux enfants), librement et sans ambiguïté.
Il faut que TikTok cesse de collecter des données personnelles sensibles et d’opérer des déductions quant aux intérêts, à l’état émotionnel ou au bien-être des utilisateurs et utilisatrices en fonction du temps de visionnage et de la participation en vue de « personnaliser » les recommandations de contenu et de cibler les publicités. Au lieu de se livrer à une surveillance généralisée pour adapter les fils aux intérêts des utilisateurs et utilisatrices, TikTok doit permettre à ceux-ci de faire part de leurs intérêts de manière délibérée (par exemple, il pourrait être demandé aux utilisateurs et utilisatrices de communiquer des intérêts en particulier s’ils/elles souhaitent obtenir des recommandations personnalisées) et seulement sur la base d’un consentement libre, spécifique et donné en connaissance de cause.
Pour concrétiser les droits des enfants et des jeunes, les États doivent :
- Empêcher les entreprises de conditionner l’accès à leurs services au fait d’« accepter » la collecte, le traitement et le partage de leurs données personnelles à des fins de ciblage de contenu, de marketing ou de publicité ;
- Réglementer les activités des entreprises de réseaux sociaux conformément au droit international relatif aux droits humains et aux normes connexes afin de veiller à ce que les algorithmes utilisés par les plateformes en ligne pour organiser le contenu ne soient pas fondés par défaut sur le profilage, et que ces plateformes demandent une démarche volontaire d’inscription plutôt que de désinscription, le consentement pour l’inscription devant être spécifique et donné librement, en connaissance de cause et sans ambiguïté. La collecte et l’utilisation de données personnelles sensibles obtenues par déduction (par exemple, le fait de baser les recommandations sur le temps de visionnage et les mentions « Like », qui permettent de déduire des informations sensibles) pour personnaliser les publicités et les recommandations de contenu doivent être interdites.
Table des matières
1. RÉSUMÉ
2. MÉTHODE
2.1 Objet et portée de ce rapport
2.2 Axe de recherche
2.3 Méthodologie de recherche
3. CONTEXTE
3.1 Passer à côté de l’essentiel : lacunes en matière de recherche et obstacles commerciaux entravant l’étude des risques que présentent les plateformes de réseaux sociaux du point de vue des droits humains des enfants et des jeunes
3.2 Entre politiques et populisme : des efforts limités pour réglementer les plateformes de réseaux sociaux
3.3 Aggravation des problèmes de santé mentale chez les enfants et les jeunes
4. CADRE DE PROTECTION DES DROITS HUMAINS
4.1 Le droit au respect de la vie privée à l’ère des réseaux sociaux
4.2 Le droit à la liberté de pensée
4.3 Le droit à la santé
4.4 L’intérêt supérieur de l’enfant et le droit d’être entendu·e
4.5 L’obligation des entreprises de respecter les droits humains
5. UNE CONCEPTION ADDICTIVE PAR NATURE
5.1 Les stratégies d’encouragement de l’engagement de TikTok
5.2 Les conséquences des réseaux sociaux addictifs pour la santé des jeunes
6. DESCENTE EN SPIRALE
6.1 Comment le fil « Pour Toi » de TikTok pousse à l’extrême un système intrinsèquement dangereux
6.2 Des risques accrus pour les jeunes souffrant de problèmes de santé mentale
6.3 Exploration systématique du système de recommandation de TikTok
6.4 Mesurer et catégoriser les contenus nocifs aux fins de l’étude
6.5 Principales conclusions
6.6. L’intérêt pour la santé mentale déclenche l’effet de « spirale »
6.7 Exemples de publications recommandées
6.8 Les limites du projet
7. LES ÉCHECS DES ENTREPRISES
7.1 Manque de diligence requise
7.2 Des réponses inadéquates à des risques graves
8. CONCLUSION ET RECOMMANDATIONS