{"id":995,"date":"2023-04-11T12:29:01","date_gmt":"2023-04-11T10:29:01","guid":{"rendered":"https:\/\/bailleux.net\/?p=995"},"modified":"2023-04-11T12:41:30","modified_gmt":"2023-04-11T10:41:30","slug":"non-chatgpt-ne-fait-pas-juste-des-statistiques-v-2-0","status":"publish","type":"post","link":"https:\/\/bailleux.net\/pagepro\/non-chatgpt-ne-fait-pas-juste-des-statistiques-v-2-0\/","title":{"rendered":"Non, ChatGPT ne fait pas juste des statistiques (V 2.0)"},"content":{"rendered":"\n
\"\"<\/a><\/figure>\n\n\n\n

L’application ChatGPT r\u00e9ussi \u00e0 r\u00e9aliser des t\u00e2ches qui, lorsqu’elle sont faites par des humains, n\u00e9cessitent une compr\u00e9hension en profondeur, non seulement des \u00e9nonc\u00e9s d\u00e9crivant les objectifs \u00e0 atteindre, mais aussi de certains concepts et principes \u00e0 utiliser pour atteindre ces objectifs.<\/p>\n\n\n\n\n\n\n\n

Voici un exemple :<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

On peut admettre que r\u00e9soudre ce probl\u00e8me ne n\u00e9cessite pas de comprendre en profondeur ce qu’est une personne, que M\u00e9lissandre et Isabeau sont des pr\u00e9noms, ni ce qu’est un panier garni. Par contre, pour r\u00e9soudre un tel probl\u00e8me, une personne humaine doit comprendre les concept de somme et de produit et \u00eatre capable de faire un raisonnement arithm\u00e9tique pour exprimer et r\u00e9soudre, ne serait-ce que par t\u00e2tonnement, une \u00e9quation simple.<\/p>\n\n\n\n

Ou alors\u2026 une personne humaine ayant m\u00e9moris\u00e9 une recette pour r\u00e9soudre ce type de probl\u00e8me sans comprendre ce qu’elle fait pourrait reconnaitre le type d\u00e9nonc\u00e9, en identifier les variables et param\u00e8tres, et les mettre en correspondance les variables et param\u00e8tres de la recette. Mais cela reste une t\u00e2che complexe qui va tr\u00e8s au del\u00e0 d’une simple reproduction ou imitation.<\/p>\n\n\n\n

Pourtant, nombre de voix, dans les m\u00e9dia, minimisent les capacit\u00e9s de ChatGPT.<\/p>\n\n\n\n

\n

ChatGPT est un perroquet qui r\u00e9pond de mani\u00e8re al\u00e9atoire.<\/em><\/p>\nDans un entretien avec Jean-Gabriel Ganascia (chercheur en intelligence artificielle au sein du laboratoire de recherche en informatique de Sorbonne Universit\u00e9) publi\u00e9 dans le journal \u00ab\u00a0Le Point\u00a0\u00bb en janvier 2023.<\/cite><\/blockquote>\n\n\n\n

\n

Il fabrique des textes mot apr\u00e8s mot de telle mani\u00e8re que chacun d\u2019entre eux soit suivi des occurrences statistiquement dominantes dans la gigantesque base de donn\u00e9es identifi\u00e9e par ses concepteurs (qui repr\u00e9sente plus de 750 000 fois le volume de la Bible)<\/em><\/p>\nPhilippe Meirieu, professeur honoraire en sciences de l\u2019\u00e9ducation, dans une tribune publi\u00e9e le 27 mars 2023 dans le journal \u00ab\u00a0Le Monde\u00a0\u00bb.<\/cite><\/blockquote>\n\n\n\n

\n

Quand on lui fait une demande, on lui donne des s\u00e9quences de mots en entr\u00e9e et lui il cherche juste \u00e0 lui associer les mots qui correspondent les plus probablement mais sans en comprendre le sens. \u00c7a reste une m\u00e9canique de r\u00e9ponse tr\u00e8s basique.<\/em><\/p>\nVid\u00e9o de mars 2023 sur la cha\u00eene Youtube Defakator Vite Fait. \u00ab\u00a0Vite fait : comment fonctionne ChatGPT ?<\/a>\u00ab\u00a0<\/cite><\/blockquote>\n\n\n\n

\n

Un algorithme extraordinairement complexe et qui est extraordinairement efficace pour r\u00e9aliser une t\u00e2che extraordinairement d\u00e9risoire, au fond : pr\u00e9dire le prochain mot d\u2019un texte. Ou plus exactement, \u00e0 partir d\u2019une s\u00e9quence de mots, donner une distribution de probabilit\u00e9 de ce que pourrait \u00eatre le prochain mot. Voil\u00e0, c’est tout.<\/em><\/p>\nMonsieur Phi, philosophe, vulgarisateur scientifique, dans une vid\u00e9o de janvier 2023 intitul\u00e9e \u00ab\u00a0De quoi ChatGPT est-il vraiment capable ?<\/a>\u00a0\u00bb sur sa cha\u00eene de Youtube.<\/cite><\/blockquote>\n\n\n\n

Peut-on mettre ces affirmations en coh\u00e9rence avec l’exemple suivant :<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Le mot \u00ab\u00a0devanteil\u00a0\u00bb d\u00e9signe un tablier en patois Bourguignon. Il est plus qu’improbable que ce mot figure \u00e0 proximit\u00e9 des mots \u00ab\u00a0fiche banane\u00a0\u00bb et \u00ab\u00a0bouton de manchettes\u00a0\u00bb dans le corpus d’apprentissage de ChatGPT. Et en cas de doute, on peut utiliser d’autres noms d’objet inusit\u00e9s, ou m\u00eame compl\u00e8tement invent\u00e9s, et constater que le Truc donne une r\u00e9ponse correcte \u00e0 la question pos\u00e9e.<\/p>\n\n\n\n

Il est clair que la r\u00e9ponse obtenue ne peut \u00eatre construite par une suite de mots ayant des occurrences statistiquement dominantes dans un corpus d’apprentissage plausible.<\/p>\n\n\n\n

La quatri\u00e8me citation nous dit que ChatGPT, \u00e0 partir d\u2019une s\u00e9quence de mots, \u00ab\u00a0donne une distribution de probabilit\u00e9 de ce que pourrait \u00eatre le prochain mot\u00a0\u00bb. Mais elle ne pr\u00e9sume pas du mode de calcul de cette probabilit\u00e9, ce qui \u00e9vite une simplification qui, dans les citations pr\u00e9c\u00e9dentes, occulte un point absolument essentiel.<\/p>\n\n\n\n

OUI, ChatGPT produit une distribution de probabilit\u00e9s de ce que pourrait \u00eatre le prochain mot d’une s\u00e9quence, comme le dit M. Phi.<\/p>\n\n\n\n

MAIS attention, cette distribution de probabilit\u00e9s ne r\u00e9sulte pas directement d’une analyse statistique de s\u00e9quences comportant ce mot dans le corpus d’apprentissage. Lors de son apprentissage, ChatGPT, comme toutes les IA bas\u00e9es sur les r\u00e9seaux de neurones profonds, cr\u00e9e un mod\u00e8le (techniquement, un instance de mod\u00e8le) extr\u00eamement complexe, dont personne \u00e0 l’heure actuelle ne comprend comment il organise ses connaissances (Les IA de ce type sont le r\u00e9sultats de recherches essentiellement empiriques). Ce mod\u00e8le est constitu\u00e9 de milliards de param\u00e8tres dont les valeurs ont \u00e9t\u00e9 fix\u00e9es lors de l’entra\u00eenement de l’IA. S’il est difficile de dire ce qu’est ce mod\u00e8le, on peut en tout cas dire ce qu’il n’est pas : ce n’est pas<\/strong> une repr\u00e9sentation litt\u00e9rale du corpus d’apprentissage, ce n’est pas<\/strong> le r\u00e9sultat d’un apprentissage par c\u0153ur de ce corpus, ce n’est pas<\/strong> un arbre de d\u00e9cision.<\/p>\n\n\n\n

Ce mod\u00e8le fait montre d’une remarquable capacit\u00e9 \u00e0 g\u00e9n\u00e9raliser<\/strong> ses donn\u00e9es d’apprentissage pour r\u00e9soudre des probl\u00e8mes bas\u00e9s sur des donn\u00e9es diff\u00e9rentes de celles incluses dans le corpus d’apprentissage.<\/p>\n\n\n\n

Certaines IA bas\u00e9es sur des r\u00e9seaux de neurones profonds s’av\u00e8rent capables de faire des choses qu’on ne leur a pas apprises explicitement. Par exemple, on peut entrainer des IA \u00e0 r\u00e9parer des photos de chats ayant \u00e9t\u00e9 d\u00e9grad\u00e9es, et ensuite non seulement leur faire r\u00e9parer des photos de chats dont elles n’ont jamais vu l’original, mais aussi leur faire cr\u00e9er de toutes pi\u00e8ces, \u00e0 partir d’images d’entr\u00e9e repr\u00e9sentant un bruit al\u00e9atoire, des chats parfaitement plausibles.<\/p>\n\n\n\n

C’est ce qui semble se passer avec ChatGPT. Le jeu d’apprentissage est constitu\u00e9 de couples $(s,m)$ o\u00f9 $s$ est une s\u00e9quence de mots dans un texte du corpus et $m$ le mot situ\u00e9 imm\u00e9diatement apr\u00e8s $s$. La fonction $p$ effectivement apprise associe \u00e0 toute s\u00e9quence $s$ du jeu d’apprentissage un vecteur de probabilit\u00e9 $p(s)$ dans lequel le mot qui suit la s\u00e9quence $s$ a une probabilit\u00e9 1 et tous les autres mots du corpus une probabilit\u00e9 0.<\/p>\n\n\n\n

Mais une fois entra\u00een\u00e9, le syst\u00e8me peut accepter en entr\u00e9e tous les textes possibles et imaginables. Quand on l’interroge, on lui demande d’appliquer \u00e0 notre question (suivie de la partie d\u00e9j\u00e0 produite de la r\u00e9ponse) une fonction de pr\u00e9diction $P$ qui est une g\u00e9n\u00e9ralisation<\/strong> de la fonction $p$ que le Truc a effectivement appris \u00e0 calculer lors de son entra\u00eenement. Le vecteur de sortie associ\u00e9 par la fonction $P$ \u00e0 une s\u00e9quence d’entr\u00e9e ne faisant pas partie du jeu d’apprentissage ne s\u00e9lectionne pas un unique mot avec une probabilit\u00e9 1, mais attribue des probabilit\u00e9s \u00e0 diff\u00e9rents mots du corpus. C’est ce qui permet au Truc de donner des r\u00e9ponses diff\u00e9rentes \u00e0 une m\u00eame question.<\/p>\n\n\n\n

Aucune connaissance scientifique ne permet d’affirmer que les r\u00e9ponses produites sont \u00ab\u00a0intelligentes\u00a0\u00bb d’autant que ce terme est un mot fourre-tout aux contours flous, ayant une connotation anthropocentrique. Mais aucune base scientifique ne permet de pr\u00e9sumer que cette fonction produit des s\u00e9quences de mots sans aucune profondeur, ou des textes construits \u00e0 partir de mots choisis de mani\u00e8re purement statistique, et encore moins de dire que ChatGPT est un perroquet stochastique. Il faut comprendre que la fonction de pr\u00e9diction $P$ n’est pas calcul\u00e9e par une formule de statistique d’origine humaine, mais par une formule qui a \u00e9merg\u00e9<\/strong> du processus d’apprentissage et qui ne peut \u00eatre ni explicit\u00e9e, ni comprise par des \u00eatres humains. On ne peut donc pas pr\u00e9tendre qu’elle se limite \u00e0 traduire des corr\u00e9lations entre mots et s\u00e9quences de mot.<\/p>\n\n\n\n

L’hypoth\u00e8se qui me parait la plus plausible au moment o\u00f9 j’\u00e9cris ces lignes (susceptible d’\u00eatre r\u00e9vis\u00e9e car il faut \u00eatre humble face \u00e0 la complexit\u00e9 de ce qui se passe dans un r\u00e9seau de neurones artificiels de grande taille) est que ChatGPT ne peut satisfaire les contraintes qui lui sont impos\u00e9es lors de son apprentissage qu’en produisant un mod\u00e8le de repr\u00e9sentation et d’exploitation des connaissances qui capture, d’une certaine fa\u00e7on, non seulement les r\u00e8gles de grammaire de diff\u00e9rents langages (naturels et informatiques), mais aussi certains \u00e9l\u00e9ments de la structure, de la logique, et de la s\u00e9mantique sous-jacentes \u00e0 de nombreux textes \u00e9crits dans ces langages. Ces m\u00e9ta-connaissances ne sont pas repr\u00e9sent\u00e9es explicitement. Elles sont intriqu\u00e9es dans la masse des param\u00e8tres des r\u00e9seaux de neurones artificiels qui leur servent de support. Mais elles s’expriment lors de l’utilisation du syst\u00e8me parce que leur d\u00e9codage fait partie des capacit\u00e9s acquises lors de sa phase d’apprentissage.<\/p>\n\n\n\n

Certains r\u00e9sultats obtenus avec ChatGPT me laissent penser que le mod\u00e8le qui a \u00e9merg\u00e9 de son entra\u00eenement lui permet de transposer certains modes de raisonnements explicit\u00e9s dans son corpus d’apprentissage \u00e0 des probl\u00e8mes pr\u00e9sent\u00e9s avec des mots diff\u00e9rents et des valeurs num\u00e9riques diff\u00e9rentes de celles exprim\u00e9es dans ce corpus, mais aussi \u00e0 combiner des savoir-faire issus de diff\u00e9rentes sources du corpus. Voici un exemple :<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Dans cet exercice, je d\u00e9tourne compl\u00e8tement le concept de groseille, qui devient un animal \u00e0 trois pattes, tout en brouillant les pistes en parlant d’une plan\u00e8te sortie de mon imagination. Pourtant, ChatGPT r\u00e9ussi \u00e0 r\u00e9soudre le probl\u00e8me alors qu’on peut raisonnablement supposer que dans son corpus d’apprentissage, les groseilles n’ont pas de pattes et ne p\u00e8sent pas 500 grammes. Il y a une asp\u00e9rit\u00e9 dans l’explication, plus pr\u00e9cis\u00e9ment dans la deuxi\u00e8me phrase du raisonnement, o\u00f9 le mot \u00ab\u00a0p\u00e8se\u00a0\u00bb devrait \u00eatre remplac\u00e9 par \u00ab\u00a0repr\u00e9sente\u00a0\u00bb. Par ailleurs, rien ne permet d’affirmer que le Truc a effectivement proc\u00e9d\u00e9 de la mani\u00e8re dont il l’explique pour produire le r\u00e9sultat, mais la d\u00e9marche d\u00e9crite est coh\u00e9rente et le r\u00e9sultat est exact.<\/p>\n\n\n\n

\n

Le point important est que la d\u00e9marche de r\u00e9solution de ce probl\u00e8me (comme celle permettant \u00e0 l’engin d\u2019en r\u00e9soudre de nombreux autres) ne provient pas<\/strong> des algorithmes impl\u00e9ment\u00e9s dans le syst\u00e8me par ses concepteurs. Elle provient de documents appartement au corpus d’apprentissage et de r\u00e9troactions humaines r\u00e9alis\u00e9es lors de certaines phases de l’entra\u00eenement de ChatGPT.<\/p>\n<\/blockquote>\n\n\n\n

Voil\u00e0 ce qu’en a dit ChatGPT 4 lorsque je l’ai interrog\u00e9 \u00e0 ce sujet apr\u00e8s<\/strong> m’\u00eatre forg\u00e9 cette opinion et avoir \u00e9crit ce qui pr\u00e9c\u00e8de. Quand mien m\u00eame, en toute hypoth\u00e8se, ce texte refl\u00e9terait plus l’avis des personnes ayant cr\u00e9\u00e9 ChatGPT que de l’engin lui-m\u00eame, il ne serait pas \u00e0 prendre \u00e0 la l\u00e9g\u00e8re.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Le but ici n’est pas de multiplier les exemples. Il est toujours possible d’en trouver, m\u00eame assez facilement, qui donnent des r\u00e9sultats faux, voire incoh\u00e9rents. Le mod\u00e8le sous-jacent \u00e0 ChatGPT ne permet en aucun cas de capturer toutes les informations contenues dans son corpus d’apprentissage, et la nature m\u00eame du mode de repr\u00e9sentation des connaissances utilis\u00e9 ne donne aucune garantie de fiabilit\u00e9, coh\u00e9rence et exactitude des productions de l’engin.<\/p>\n\n\n\n

Il existe par ailleurs des limites th\u00e9oriques des capacit\u00e9s d’inf\u00e9rences, donc de d\u00e9duction, du Truc. Ces limites sont li\u00e9es \u00e0 la notion d’irr\u00e9ductibilit\u00e9 algorithmique, comme le mentionne Stephen Wolfram dans ce billet<\/a>.<\/p>\n\n\n\n

Mais je ne peux pas, en toute conscience, affirmer que ChatGPT ne comprend rien \u00e0 ce qu’il \u00e9crit. Je pense, au contraire, que l’engin peut faire preuve, dans certains contextes, d’une forme de compr\u00e9hension qui lui permet de produire des r\u00e9sultats coh\u00e9rents lorsqu’on lui demande de traiter des probl\u00e8mes pr\u00e9sentant certaines diff\u00e9rences avec ceux figurant dans son corpus d’apprentissage.<\/p>\n\n\n\n

Je pense qu’il faudra beaucoup de temps et de recul pour cerner les capacit\u00e9s et les limites des IA g\u00e9n\u00e9ratives telles que ChatGPT. Mais si l’intelligence de ces syst\u00e8mes peut \u00eatre discut\u00e9e, on ne peut nier que ChatGPT a certaines comp\u00e9tences, qu’il convient d’\u00e9valuer au cas par cas, sans apriori, dans ses diff\u00e9rents domaines d’application.<\/p>\n\n\n\n

J’enseigne la programmation et l’algorithmique depuis 30 ans \u00e0 des niveaux allant de bac+1 \u00e0 bac+5 et j’estime que l’engin a des comp\u00e9tences de bon niveau troisi\u00e8me ann\u00e9e de licence d’informatique universitaire. Concr\u00e8tement, il est capable de traiter des exercices originaux pr\u00e9sent\u00e9s de la m\u00eame mani\u00e8re que dans mes sujets d’examens et de donner, souvent, des r\u00e9ponses correctes et remarquablement bien expliqu\u00e9es.<\/p>\n","protected":false},"excerpt":{"rendered":"

L’application ChatGPT r\u00e9ussi \u00e0 r\u00e9aliser des t\u00e2ches qui, lorsqu’elle sont faites par des humains, n\u00e9cessitent une compr\u00e9hension en profondeur, non seulement des \u00e9nonc\u00e9s d\u00e9crivant les objectifs \u00e0 atteindre, mais aussi de certains concepts et principes \u00e0 utiliser pour atteindre ces objectifs.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-995","post","type-post","status-publish","format-standard","hentry","category-divers"],"_links":{"self":[{"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/posts\/995","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/comments?post=995"}],"version-history":[{"count":8,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/posts\/995\/revisions"}],"predecessor-version":[{"id":1010,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/posts\/995\/revisions\/1010"}],"wp:attachment":[{"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/media?parent=995"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/categories?post=995"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bailleux.net\/pagepro\/wp-json\/wp\/v2\/tags?post=995"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}