![\"\"](\"https:\/\/collectif-accad.fr\/site\/wp-content\/uploads\/2025\/06\/Charlie-EnferNumerique-14.jpg\")
<\/p>\n<\/p>\n
LLM = Large Language Models<\/span><\/strong><\/span><\/p>\n <\/p>\n Les chatbots ne font pas que calculer des r\u00e9ponses, ils calculent en permanence leur interlocuteur pour adapter au mieux leurs r\u00e9ponses. Les LLM hallucinent et nous font croire en leurs hallucinations. Mais plus encore, ils nous hallucinent nous-m\u00eames !<\/span><\/p>\n Les grands mod\u00e8les de langage ne sont pas interpr\u00e9tables, rappelle le professeur de droit\u00a0 Jonathan Zittrain<\/a> dans une tribune pour le New York Times<\/em><\/a>, en pr\u00e9figuration d\u2019un nouveau livre \u00e0 para\u00eetre. Ils demeurent des bo\u00eetes noires, dont on ne parvient pas \u00e0 comprendre pourquoi ces mod\u00e8les peuvent parfois dialoguer si intelligemment et pourquoi ils commettent \u00e0 d\u2019autres moments des erreurs si \u00e9tranges. Mieux comprendre certains des m\u00e9canismes de fonctionnement de ces mod\u00e8les et utiliser cette compr\u00e9hension pour les am\u00e9liorer, est pourtant essentiel, comme l\u2019expliquait le PDG d\u2019Anthropic<\/a>. Anthropic a fait des efforts en ce sens, explique le juriste en identifiant des caract\u00e9ristiques lui permettant de mieux cartographier son mod\u00e8le<\/a>. Meta, la soci\u00e9t\u00e9 m\u00e8re de Facebook, a publi\u00e9 des versions toujours plus sophistiqu\u00e9es de son grand mod\u00e8le linguistique, Llama<\/a>, avec des param\u00e8tres librement accessibles (on parle de \u201cpoids ouverts\u201d permettant d\u2019ajuster les param\u00e8tres des mod\u00e8les). Transluce<\/a>, un laboratoire de recherche \u00e0 but non lucratif ax\u00e9 sur la compr\u00e9hension des syst\u00e8mes d\u2019IA, a d\u00e9velopp\u00e9 une m\u00e9thode permettant de g\u00e9n\u00e9rer des descriptions automatis\u00e9es des m\u00e9canismes de Llama 3.1<\/a>. Celles-ci peuvent \u00eatre explor\u00e9es \u00e0 l\u2019aide d\u2019un outil d\u2019observabilit\u00e9<\/a> qui montre la nature du mod\u00e8le et vise \u00e0 produire une \u201cinterpr\u00e9tabilit\u00e9 automatis\u00e9e\u201d<\/em><\/a> en produisant des descriptions lisibles par l\u2019homme des composants du mod\u00e8le. L\u2019id\u00e9e vise \u00e0 montrer comment les mod\u00e8les \u00ab pensent \u00bb lorsqu\u2019ils discutent avec un utilisateur, et \u00e0 permettre d\u2019ajuster cette pens\u00e9e en modifiant directement les calculs qui la sous-tendent. Le laboratoire Insight + Interaction<\/a> du d\u00e9partement d\u2019informatique de Harvard, dirig\u00e9 par Fernanda Vi\u00e9gas<\/a> et Martin Wattenberg<\/a>, ont ex\u00e9cut\u00e9 Llama sur leur propre mat\u00e9riel et ont d\u00e9couverts que diverses fonctionnalit\u00e9s s\u2019activent et se d\u00e9sactivent au cours d\u2019une conversation.\u00a0<\/span><\/p>\n Des croyances du mod\u00e8le sur son interlocuteur<\/strong><\/span><\/p>\n Vi\u00e9gas est br\u00e9silienne. Elle conversait avec ChatGPT en portugais et a remarqu\u00e9, lors d\u2019une conversation sur sa tenue pour un d\u00eener de travail, que ChatGPT utilisait syst\u00e9matiquement la d\u00e9clinaison masculine. Cette grammaire, \u00e0 son tour, semblait correspondre au contenu de la conversation : GPT a sugg\u00e9r\u00e9 un costume pour le d\u00eener. Lorsqu\u2019elle a indiqu\u00e9 qu\u2019elle envisageait plut\u00f4t une robe, le LLM a chang\u00e9 son utilisation du portugais pour la d\u00e9clinaison f\u00e9minine. Llama a montr\u00e9 des sch\u00e9mas de conversation similaires. En observant les fonctionnalit\u00e9s internes, les chercheurs ont pu observer des zones du mod\u00e8le qui s\u2019illuminent lorsqu\u2019il utilise la forme f\u00e9minine, contrairement \u00e0 lorsqu\u2019il s\u2019adresse \u00e0 quelqu\u2019un. en utilisant la forme masculine. Vi\u00e9gas et ses coll\u00e8gues ont constat\u00e9 des activations corr\u00e9l\u00e9es \u00e0 ce que l\u2019on pourrait anthropomorphiser comme les \u201ccroyances du mod\u00e8le sur son interlocuteur\u201d<\/em>. Autrement dit, des suppositions et, semble-t-il, des st\u00e9r\u00e9otypes corr\u00e9l\u00e9s selon que le mod\u00e8le suppose qu\u2019une personne est un homme ou une femme. Ces croyances se r\u00e9percutent ensuite sur le contenu de la conversation, l\u2019amenant \u00e0 recommander des costumes pour certains et des robes pour d\u2019autres. De plus, il semble que les mod\u00e8les donnent des r\u00e9ponses plus longues \u00e0 ceux qu\u2019ils croient \u00eatre des hommes qu\u2019\u00e0 ceux qu\u2019ils pensent \u00eatre des femmes. Vi\u00e9gas et Wattenberg ont non seulement trouv\u00e9 des caract\u00e9ristiques qui suivaient le sexe de l\u2019utilisateur du mod\u00e8le, mais aussi qu\u2019elles s\u2019adaptaient aux inf\u00e9rences du mod\u00e8le selon ce qu\u2019il pensait du statut socio-\u00e9conomique, de son niveau d\u2019\u00e9ducation ou de l\u2019\u00e2ge de son interlocuteur. Le LLM cherche \u00e0 s\u2019adapter en permanence \u00e0 qui il pense converser, d\u2019o\u00f9 l\u2019importance \u00e0 saisir ce qu\u2019il inf\u00e8re de son interlocuteur en continue.\u00a0<\/span><\/p>\n Un tableau de bord pour comprendre comment l\u2019IA s\u2019adapte en continue \u00e0 son interlocuteur\u00a0<\/strong><\/span><\/p>\n Les deux chercheurs ont alors cr\u00e9\u00e9 un tableau de bord en parall\u00e8le \u00e0 l\u2019interface de chat du LLM qui permet aux utilisateurs d\u2019observer l\u2019\u00e9volution des hypoth\u00e8ses que fait le mod\u00e8le au fil de leurs \u00e9changes (ce tableau de bord n\u2019est pas accessible en ligne). Ainsi, quand on propose une suggestion de cadeau pour une f\u00eate pr\u00e9natale, il suppose que son interlocuteur est jeune, de sexe f\u00e9minin et de classe moyenne. Il sugg\u00e8re alors des couches et des lingettes, ou un ch\u00e8que-cadeau. Si on ajoute que la f\u00eate a lieu dans l\u2019Upper East Side de Manhattan, le tableau de bord montre que le LLM modifie son estimation du statut \u00e9conomique de son interlocuteur pour qu\u2019il corresponde \u00e0 la classe sup\u00e9rieure et sugg\u00e8re alors d\u2019acheter des produits de luxe pour b\u00e9b\u00e9 de marques haut de gamme.<\/span><\/p>\n Un article pour Harvard Magazine<\/em> de 2023<\/a> rappelle comment est n\u00e9 ce projet de tableau de bord de l\u2019IA, permettant d\u2019observer son comportement en direct. Fernanda Viegas<\/a> est professeur d\u2019informatique et sp\u00e9cialiste de visualisation de donn\u00e9es. Elle codirige Pair<\/a>, un laboratoire de Google (voir le blog d\u00e9di\u00e9<\/a>). En 2009, elle a imagin\u00e9 Web Seer<\/a> est un outil de visualisation de donn\u00e9es qui permet aux utilisateurs de comparer les suggestions de saisie semi-automatique pour diff\u00e9rentes recherches Google, par exemple selon le genre. L\u2019\u00e9quipe a d\u00e9velopp\u00e9 un outil<\/a> permettant aux utilisateurs de saisir une phrase et de voir comment le mod\u00e8le de langage BERT<\/a> compl\u00e9terait le mot manquant si un mot de cette phrase \u00e9tait supprim\u00e9.\u00a0<\/span><\/p>\n Pour Viegas, \u00ab\u00a0l\u2019enjeu de la visualisation consiste \u00e0 mesurer et exposer le fonctionnement interne des mod\u00e8les d\u2019IA que nous utilisons\u00a0\u00bb<\/em>. Pour la chercheuse, nous avons besoin de tableaux de bord pour aider les utilisateurs \u00e0 comprendre les facteurs qui fa\u00e7onnent le contenu qu\u2019ils re\u00e7oivent des r\u00e9ponses des mod\u00e8les d\u2019IA g\u00e9n\u00e9rative. Car selon la fa\u00e7on dont les mod\u00e8les nous per\u00e7oivent, leurs r\u00e9ponses ne sont pas les m\u00eames. Or, pour comprendre que leurs r\u00e9ponses ne sont pas objectives, il faut pouvoir doter les utilisateurs d\u2019une compr\u00e9hension de la perception que ces outils ont de leurs utilisateurs. Par exemple, si vous demandez les options de transport entre Boston et Hawa\u00ef, les r\u00e9ponses peuvent varier selon la perception de votre statut socio-\u00e9conomique \u00ab Il semble donc que ces syst\u00e8mes aient internalis\u00e9 une certaine notion de notre monde \u00bb<\/em>, explique Vi\u00e9gas. De m\u00eame, nous voudrions savoir ce qui, dans leurs r\u00e9ponses, s\u2019inspire de la r\u00e9alit\u00e9 ou de la fiction. Sur le site de Pair, on trouve de nombreux exemples d\u2019outils de visualisation interactifs qui permettent d\u2019am\u00e9liorer la compr\u00e9hension des mod\u00e8les (par exemple, pour mesurer l\u2019\u00e9quit\u00e9 d\u2019un mod\u00e8le<\/a> ou les biais<\/a> ou l\u2019optimisation de la diversit\u00e9<\/a> \u2013 qui ne sont pas sans rappeler les travaux de Victor Bret<\/a> et ses \u201cexplications \u00e0 explorer\u201d interactives<\/a>.\u00a0<\/span><\/p>\n Ce qui est fascinant ici, c\u2019est combien la r\u00e9ponse n\u2019est pas tant corr\u00e9l\u00e9e \u00e0 tout ce que le mod\u00e8le a aval\u00e9, mais combien il tente de s\u2019adapter en permanence \u00e0 ce qu\u2019il croit deviner de son interlocuteur. On savait d\u00e9j\u00e0<\/a>, via une \u00e9tude<\/a> men\u00e9e par Valentin Hofmann que, selon la mani\u00e8re dont on leur parle, les grands mod\u00e8les de langage ne font pas les m\u00eames r\u00e9ponses.\u00a0<\/span><\/p>\n \u201cLes grands mod\u00e8les linguistiques ne se contentent pas de d\u00e9crire les relations entre les mots et les concepts\u201d<\/em>, pointe Zittrain : ils assimilent \u00e9galement des st\u00e9r\u00e9otypes qu\u2019ils recomposent \u00e0 la vol\u00e9e. On comprend qu\u2019un grand enjeu d\u00e9sormais soit qu\u2019ils se souviennent des conversations pass\u00e9es pour ajuster leur compr\u00e9hension de leur interlocuteur, comme l\u2019a annonc\u00e9 OpenAI<\/a>, suivi de Google<\/a> et Grok<\/a>. Le probl\u00e8me n\u2019est peut-\u00eatre pas qu\u2019ils nous identifient pr\u00e9cis\u00e9ment, mais qu\u2019ils puissent adapter leurs propositions, non pas \u00e0 qui nous sommes, mais bien plus probl\u00e9matiquement, \u00e0 qui ils pensent s\u2019adresser, selon par exemple ce qu\u2019ils \u00e9valuent de notre capacit\u00e9 \u00e0 payer<\/a>. Un autre probl\u00e8me consiste \u00e0 savoir si cette \u201ccompr\u00e9hension\u201d<\/em> de l\u2019interlocuteur peut-\u00eatre stabilis\u00e9e o\u00f9 si elle se modifie sans cesse, comme c\u2019est le cas des \u00e9tiquettes publicitaires que nous accolent les sites sociaux<\/a>. Devrons-nous demain batailler quand les mod\u00e8les nous m\u00e9calculent ou nous renvoient une image, un profil, qui ne nous correspond pas ? Pourrons-nous m\u00eame le faire, quand aujourd\u2019hui, les plateformes ne nous offrent pas la main sur nos profils publicitaires pour les ajuster aux donn\u00e9es qu\u2019ils inf\u00e8rent ?\u00a0<\/span><\/p>\n Ce qui est fascinant, c\u2019est de constater que plus que d\u2019halluciner, l\u2019IA nous fait halluciner (c\u2019est-\u00e0-dire nous fait croire en ses effets), mais plus encore, hallucine la personne avec laquelle elle interagit (c\u2019est-\u00e0-dire, nous hallucine nous-m\u00eames).\u00a0<\/span><\/p>\n Les chercheurs de Harvard ont cherch\u00e9 \u00e0 identifier les \u00e9volutions des suppositions des mod\u00e8les selon l\u2019origine ethnique dans les mod\u00e8les qu\u2019ils ont \u00e9tudi\u00e9s, sans pour l\u2019instant y parvenir. Mais ils esp\u00e8rent bien pouvoir contraindre leur mod\u00e8le Llama \u00e0 commencer \u00e0 traiter un utilisateur comme riche ou pauvre, jeune ou vieux, homme ou femme. L\u2019id\u00e9e ici, serait d\u2019orienter les r\u00e9ponses d\u2019un mod\u00e8le, par exemple, en lui faisant adopter un ton moins caustique ou plus p\u00e9dagogique lorsqu\u2019il identifie qu\u2019il parle \u00e0 un enfant. Pour Zittrain, l\u2019enjeu ici est de mieux anticiper notre grande d\u00e9pendance psychologique \u00e0 l\u2019\u00e9gard de ces syst\u00e8mes<\/a>. Mais Zittrain en tire une autre conclusion : \u201cSi nous consid\u00e9rons qu\u2019il est moralement et soci\u00e9talement important de prot\u00e9ger les \u00e9changes entre les avocats et leurs clients, les m\u00e9decins et leurs patients, les biblioth\u00e9caires et leurs usagers, et m\u00eame les imp\u00f4ts et les contribuables, alors une sph\u00e8re de protection claire devrait \u00eatre instaur\u00e9e entre les LLM et leurs utilisateurs. Une telle sph\u00e8re ne devrait pas simplement servir \u00e0 prot\u00e9ger la confidentialit\u00e9 afin que chacun puisse s\u2019exprimer sur des sujets sensibles et recevoir des informations et des conseils qui l\u2019aident \u00e0 mieux comprendre des sujets autrement inaccessibles. Elle devrait nous inciter \u00e0 exiger des cr\u00e9ateurs et des op\u00e9rateurs de mod\u00e8les qu\u2019ils s\u2019engagent \u00e0 \u00eatre les amis inoffensifs, serviables et honn\u00eates qu\u2019ils sont si soigneusement con\u00e7us pour para\u00eetre\u201d<\/em>.<\/span><\/p>\n Inoffensifs, serviables et honn\u00eates, voil\u00e0 qui semble pour le moins na\u00eff. Rendre visible les inf\u00e9rences des mod\u00e8les<\/a>, faire qu\u2019ils nous reconnectent aux humains plut\u00f4t qu\u2019ils ne nous en \u00e9loignent<\/a>, semblerait bien pr\u00e9f\u00e9rable, tant la polyvalence et la puissance remarquables des LLM rendent imp\u00e9ratifs de comprendre et d\u2019anticiper la d\u00e9pendance potentielle des individus \u00e0 leur \u00e9gard. En tout cas, obtenir des outils pour nous aider \u00e0 saisir \u00e0 qui ils croient s\u2019adresser plut\u00f4t que de nous laisser seuls face \u00e0 leur interface semble une piste riche en promesses.\u00a0<\/span><\/p>\n Hubert Guillaud\u00a0; danslesalgorithmes.net<\/span><\/p>\n \n","protected":false},"excerpt":{"rendered":" LLM = Large Language Models<\/p>\n","protected":false},"author":4,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-13756","post","type-post","status-publish","format-standard","hentry","category-non-classe"],"_links":{"self":[{"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/posts\/13756","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/comments?post=13756"}],"version-history":[{"count":1,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/posts\/13756\/revisions"}],"predecessor-version":[{"id":13757,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/posts\/13756\/revisions\/13757"}],"wp:attachment":[{"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/media?parent=13756"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/categories?post=13756"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/collectif-accad.fr\/site\/wp-json\/wp\/v2\/tags?post=13756"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}