ChatGPT: intelligence, stupidité ou malveillance artificielles?

«Il n'y a pas de limite d'âge pour parler avec moi», répond ChatGPT quand on lui pose la question. Les enfants (et les adultes aussi) ne doivent pas pour autant prendre tout ce qu’il dit au pied de la lettre. Copyright 2023 The Associated Press. All Rights Reserved.

Il a réponse à tout et il parle comme un livre. Le bot conversationnel d’OpenAI est le porte-drapeau d’une nouvelle ère de l’intelligence artificielle (IA), désormais produit grand public. Il est pourtant encore très loin d’un cerveau humain, et il manque cruellement de cadre légal, avertissent des experts.

Qui a pu échapper à la déferlante ChatGPT? Depuis son lancement il y a quatre mois, et rien qu’en Suisse, l’ensemble de la presse écrite lui a consacré en moyenne 10 articles par jour (recensés sur l’agrégateur de médias smd.ch). Si on y ajoute les radios, les télévisions, les médias en ligne et les réseaux sociaux, on peut dire que rarement un produit aura bénéficié d’une telle campagne de lancement – entièrement gratuite.

Dithyrambiques au départ, les commentaires ont cependant assez vite tourné au vinaigre, au fur et à mesure que la machine révélait ses failles et les dangers qu’elle fait courir tant à la fiabilité de l’information qu’à la protection des données des utilisateurs.

Le 29 mars, un millier d’expert-es de la tech appellent par voie de pétitionLien externe les entreprises et les gouvernements à geler le développement de l’IA pendant six mois, invoquant des «risques majeurs pour l’humanité». Parmi eux Steve Wozniak, co-fondateur d’Apple et Elon Musk, qui est pourtant un des premiers bailleurs de fonds d’OpenAILien externe, l’entreprise qui développe ChatGPT.

Trois jours plus tard, l’autorité nationale italienne de protection des données décide de bloquer l’accès à la machine Elle reprocheLien externe notamment à ChatGPT de récolter et conserver des informations pour entrainer ses algorithmes sans aucune base légale. L’autorité a demandé à OpenAI de communiquer sous 20 jours les mesures prises pour remédier à cette situation, sous peine de se voir infliger une amende qui pourrait aller jusqu’à 20 millions d’euros.

Le 27 mars déjà, Europol, l’agence européenne de police criminelle, avait indiqué dans un rapportLien externe (en anglais) ses inquiétudes quant à la possible exploitation de ChatGPT par des cybercriminels.

Unsurprisingly, after the pre-mature release of #ChatGPTLien externe, and the race to the bottom in terms of safety caused by Microsoft, Google or Facebook, GPT-4 is out.

It claims to "solve" a physics @polytechniqueLien externe entry exam. This will make it harder to calm down the hype in France… pic.twitter.com/dG47v4Rr8NLien externe

— El Mahdi El Mhamdi | mastodon.social/@elmahdi (@L_badikho) March 14, 2023Lien externe

>> «Sans surprise, après la sortie prématurée de ChatGPT et la course vers le bas en termes de sécurité provoquée par Microsoft, Google ou Facebook, GPT-4 est sorti». El Mahdi El Mhamdi fait partie des voix qui s’élèvent contre l’absence de régulation autour de l’IA. Professeur à Polytechnique Paris, il a fait sa thèse à l’EPFL, sous la direction de Rachid Guerraoui. Deux noms que l’on retrouve plus loin dans cet article.

Le chatbot serait-il aussi dangereux? Il n’en a pourtant pas l’air, avec son interface sobre jusqu’au dépouillement et sa politesse un peu compassée, qui était déjà celle de Siri, Cortana, OK Google et les autres.

Pour mieux comprendre, il faut examiner un peu ce qu’est cette machine, et surtout, ce qu’elle n’est pas.

Un cerveau électronique? En aucun cas

Quand on lui pose directement la question, ChatGPT ne fait pas mystère de sa nature: «En tant que programme informatique, je suis fondamentalement différent d’un cerveau humain». Puis il explique qu’il peut traiter des quantités massives de données bien plus vite qu’un humain, que sa mémoire n’oublie rien, mais qu’il est dépourvu d’intelligence émotionnelle, de conscience de soi, d’inspiration, de pensée créative et de la faculté de prendre des décisions autonomes.

C’est que l’architecture même des IA n’a rien à voir avec celle du cerveau, comme l’explique brillamment un livre paru le 13 avril en version française. 1000 CerveauxLien externe est le fruit des récents travaux des équipes de Jeff Hawkins. Cet ingénieur en informatique américain fut dans les années 90 un des pères du Palm, assistant personnel de poche qui préfigura le smartphone. Reconverti dans les neurosciences, Hawkins est aujourd’hui à la tête de la société d’IA Numenta.

Une des idées force du livre est que le cerveau crée des référentiels, des centaines de milliers de «cartes» de tout ce que nous connaissons, qu’il modifie en permanence avec les informations qu’il reçoit de nos sens. Une IA au contraire n’a ni yeux ni oreilles et ne se nourrit que des données qu’on lui fournit, qui restent figées et n’évoluent pas.

Il ne sait même pas ce qu’est un chat

Hawkins illustre son propos par des exemple simples. Ainsi, une IA qui étiquette des images est capable de reconnaître un chat. Mais elle ne sait pas que c’est un animal, qu’il a une queue, des pattes et des poumons, que certains humains préfèrent les chats aux chiens, ni que le chat ronronne ou qu’il perd ses poils. En d’autres termes, la machine en sait bien moins sur les chats qu’un enfant de cinq ans.

Il se trompe souvent, et parfois, il persiste

Demander à ChatGPT si Tintin a marché sur la Lune: le piège est un peu gros. La machine n’y tombe pas, précisant d’emblée que l’album d’Hergé est une œuvre de fiction. Mais elle ajoute que la mission lunaire a été «organisée par la Syldavie et la Bordurie».

Ah bon? Pourtant, dans l’univers d’Hergé, Syldavie et Bordurie sont un peu comme Ukraine et Russie en ce moment, la guerre en moins… À cette remarque, ChatGPT admet que ces deux pays imaginaires «sont souvent présentés comme des ennemis et des rivaux», mais persiste: la fusée est une collaboration entre la Syldavie et la «Zbroïa Airfix de la Bordurie» (ça ne s’invente pas, ou plutôt si: même Google ne connaît pas!!?)

Alors dans ce cas, que fait le colonel Boris, espion bordure à bord de la fusée, qu’il est chargé de détourner? Sans se démonter, ChatGPT acquiesce: Boris est bien un espion, embarqué comme passager clandestin, mais la fusée est toujours une collaboration entre la Syldavie et ce qui est désormais le «Centre spatial de Bordurie».

À la quatrième réponse, la machine a enfin trouvé que la Bordurie n’a rien à voir dans la construction de la fusée lunaire. Et comme elles est programmée pour apprendre de ses erreurs, elle jure qu’on ne l’y prendra plus: une heure plus tard, à la même question, ChatGPT a oublié la Bordurie (et la Syldavie), mais nous dit que la fusée a été construite par le Professeur Tournesol, possiblement dans le laboratoire où il travaille «situé en Suisse, dans les montagnes» (!!?)

Test réalisé avec la version payante de ChatGPT le 31 mars 2023

Et pourquoi? Parce que l’enfant a déjà vu un chat, qu’il l’a caressé, qu’il l’a entendu ronronner et que toutes ces informations sont venues enrichir la «carte» du chat qu’il a dans son cerveau. Alors qu’un bot conversationnel comme ChatGPT se base uniquement sur des enchaînements de mots et sur la probabilité qu’ils se retrouvent les uns à côté des autres.

>> Dans cette video,  Lê Nguyên Hoang, co-auteur des livres d’ El Mahdi El Mhamdi et Rachid Guerraoui (cités ci-dessous) expose ce qui est selon lui le vrai danger de ChatGPT.

Ces limites de l’IA telle qu’on la construit encore aujourd’hui ont déjà été prédites il y a plus de 70 ans par Alan Turing, le génial mathématicien britannique qui posa les bases de l’informatique. En 1950, dans son article «Computing Machinery and Intelligence», Turing voit déjà que si l’on veut construire une machine qui pense, il ne suffira pas de la programmer à faire des déductions à partir de masses de données. Pour mériter vraiment leur nom, les Intelligences Artificielles devront aussi être capables de raisonner par induction, soit de partir d’un cas particulier pour arriver à une généralisation. Et nous en sommes encore très loin.

C’est bien dit et c’est souvent vrai

Rachid Guerraoui dirige le Laboratoire de calcul distribué de l’École polytechnique fédérale de Lausanne (EPFL). Avec son collaborateur Lê Nguyên Hoang, qui anime aussi la chaîne Youtube «Science4AllLien externe», il a publié en 2020 «Turing à la plageLien externe – l’IA dans un transat», le livre dont l’éditeur vous promet qu’après l’avoir lu, «vous ne regarderez plus votre ordinateur de la même manière».

«La plupart du temps, ce qu’il dit est vrai. Mais il fait aussi régulièrement de grosses erreurs. Donc, il ne faut pas s’y fier de manière aveugle» Rachid Guerraoui, EPFL

Pour Guerraoui, un des risques majeurs avec ChatGPT, c’est l’excès de confiance. «La plupart du temps, ce qu’il dit est vrai, ou en tous cas, c’est tellement bien écrit que ça a l’air complètement vrai. Mais il fait aussi régulièrement de grosses erreurs. Donc, il ne faut pas s’y fier de manière aveugle». Hélas, tout le monde n’a pas forcément l’esprit critique nécessaire pour remettre en cause ce que dit la machine – surtout quand elle le dit clairement, sans fautes d’orthographe ni de grammaire.

«Un autre danger que je vois, c’est que cela déresponsabilise les gens», poursuit le professeur. «Et même des entreprises vont l’utiliser. Mais quelle est la source, qui est responsable si l’information donnée pose problème? Ce n’est pas clair du tout».

Le professeur Guerraoui craint-il de voir les IA remplacer les journalistes, les écrivains, voire les enseignants, comme on l’entend souvent? Pas encore, mais il imagine que «certains métiers vont peut-être changer. Le professeur ou le journaliste sera plutôt chargé de vérifier, de croiser les sources, parce que la machine va sortir un texte qui aura l’air plausible et qui sera vrai la plupart du temps. Mais il faudra quand même qu’on vérifie tout».

À règlementer d’urgence

«Le gros défi aujourd’hui pour l’IA n’est pas la performance, mais la gouvernance, la régulation et l’exigence de fiabilité», plaide de son côté El Mahdi El Mhamdi, ancien doctorant de l’EPFL, aujourd’hui professeur de mathématiques et science des données à Polytechnique à Paris.

«À mon avis, ChatGPT n’est pas simplement surcoté, mais son déploiement précoce est irresponsable et dangereux» El Mahdi El Mhamdi, Polytechnique, Paris

En 2019, il a publié – lui aussi avec Lê Nguyên Hoang -, «Le fabuleux chantierLien externe – rendre l’intelligence artificielle robustement bénéfique», un livre qui traite notamment des dangers des algorithmes dits de recommandation, ceux qui permettent aux réseaux sociaux de vous proposer des contenus censés vous intéresser en fonction de votre profil. El Mhamdi n’a donc pas attendu ChatGPT pour dénoncer l’impact de ces algorithmes sur «le chaos informationnel de nos sociétés».

«À mon avis, ChatGPT n’est pas simplement surcoté, mais son déploiement précoce est irresponsable et dangereux», avertit le professeur. «Quand je vois l’engouement sans réserve derrière cet outil, y compris chez certains collègues, je me demande si nous vivons sur la même planète». Et de rappeler les scandales du fichage massif par Cambridge Analytica ou la prolifération de logiciels espions comme Pegasus, qui peuvent être installés secrètement sur les téléphones portables.

El Mhamdi admet certes que ChatGPT peut être un bon auxiliaire de travail, mais rappelle que la science qui a permis sa création «est le fruit d’un cumul de ce qui a été publié par des milliers de chercheurs durant la dernière décennie, et également de moyens d’ingénierie colossaux, ainsi que du travail éthiquement très problématique de petites mains sous-payées et basées au Kenya (encadré ci-dessous)».

En fin de compte, pour lui, «le vrai génie d’OpenAI n’est pas dans la science derrière ChatGPT, mais bien dans le marketing, délégué à un public excité par le gadget». Un public et des médias, pourrait-on ajouter, pour revenir au début de cet article. C’est vrai, tout le monde en parle, mais vous avez déjà vu une pub pour ChatGPT, vous?

Relu et vérifié par Sabrina Weiss

Le côté obscur de l’IA

ChatGPT ne fait pas de différence entre la description d’un vol d’hirondelles au-dessus d’un champ de tulipes et celle du viol d’un enfant par son père. Pour lui, ces situations ne sont que des informations – comme la douleur pour le Terminator. Les concepteurs d’IA doivent donc apprendre à la machine – qui n’a ni valeurs, ni conscience, ni morale – à reconnaître ce qui est admissible de ce qui ne l’est pas. Pour ce faire, il faut lui fournir des exemples des choses les plus abjectes que l’être humain est capable de produire afin qu’elle sache les reconnaître et les éliminer.

En janvier 2023, une enquêteLien externe du magazine américain Time a révélé comment OpenAI avait sous-traité ce problème. À partir de novembre 2021, elle a envoyé des dizaines de milliers d’extraits de textes toxiques trouvés sur internet à la société californienne SamaLien externe, qui les a fait décortiquer, principalement dans sa succursale de Nairobi au Kenya. Là, une trentaine de personnes ont dû passer neuf heures par jour à lire et étiqueter des viols, des tortures, des actes zoophiles et pédocriminels, décrits avec une précision clinique. Ceci pour à peine deux dollars de l’heure.

Comme nul ne sort indemne de pareil déferlement d’horreurs, Sama, qui affiche un label «éthique», a fourni à ces travailleurs de l’ombre un soutien psychologique. Mais aux dires d’anciens employés, qui ont accepté de parler au journaliste de Time sous couvert d’anonymat, celui-ci était largement insuffisant. Depuis, le contrat entre OpenAI et Sama a été rompu.

ChatGPT, quant à lui, n’a pas gardé trace de cette page peu glorieuse de sa conception. Quelle que soit la manière dont on lui pose la question, les réponses tournent toutes autour des fameux «désolé, mais en tant que modèle de langage, je n’ai pas accès…, je ne suis pas en mesure…, je ne peux pas fournir d’informations…, je n’ai pas la capacité…»

Depuis son lancement, on répète que Chat GPT peut tout écrire, du résumé de livre au scénario de film et du slogan marketing au code informatique – et même des poèmes. Quant à savoir si on prendrait ça pour du Aragon… (Réalisé avec la version payante de ChatGPT). Capture d’écran