Vous posez une question à ChatGPT. Quelques secondes plus tard, l’outil vous livre une réponse structurée. Il explique, argumente et semble parfois suivre un raisonnement proche de celui d’un humain. Pourtant, ces réponses ne sont que le fruit d’une immense succession de calculs et pas d’une réflexion au sens humain du terme.
Pour comprendre le principe, il suffit de penser au clavier prédictif de nos téléphones. Par exemple, vous commencez une phrase par : « Le soleil se lève à… ». Et sur la base des probabilités, votre clavier vous propose « l’est ». En réalité, cette proposition est simplement celle que le clavier juge la plus probable dans ce contexte. Vous êtes libre d’orienter la suite de la phrase autrement.
Un grand modèle de langage, ou LLM, sigle qui signifie en anglais Large Language Model, fonctionne sur un principe similaire. Mais celui-ci est infiniment plus complexe. Les modèles d’IA génératives comme ChatGPT, Claude ou Gemini sont entraînés sur d’immenses quantités de textes. Ils y apprennent les relations statistiques entre les éléments du langage. Le média, The Conversation résume bien ce fonctionnement dans un article publié début juillet. Il y explique que ces systèmes « reposent sur la prédiction statistique du prochain token (…) le plus probable dans une séquence donnée. »
Un token peut correspondre à un mot, une partie de mot ou un signe de ponctuation. Ainsi, lorsqu’on lui pose une question, le modèle analyse les tokens déjà présents. Il calcule ensuite une distribution de probabilités pour déterminer ceux susceptibles de suivre. Une fois un token sélectionné, celui-ci rejoint le texte déjà produit. Le modèle recommence alors l’opération pour choisir le suivant. Puis encore le suivant. Une réponse entière apparaît ainsi progressivement.
Comment une IA peut-elle inventer avec autant de précision
La présentation ci-dessus pourrait laisser croire que ChatGPT, Claude ou Gemini ne sont que des claviers prédictifs géants. Ce serait aller trop vite. Ce qui les distingue n’est pas une intelligence au sens humain du terme, mais une question d’échelle et d’abstraction.
Ces modèles reposent sur de vastes réseaux de neurones artificiels, une appellation inspirée du cerveau, mais dont le fonctionnement réel en diffère profondément. Ces réseaux comportent des milliards de paramètres ajustés pendant l’entraînement. C’est cette masse de paramètres qui permet au modèle de tenir compte d’un contexte long et de manipuler des relations entre des concepts, des styles ou des idées. Cela ne signifie pas pour autant qu’il comprend ce qu’il produit comme un humain comprend ce qu’il dit ou écrit.
C’est précisément cette mécanique qui explique les fameuses « hallucinations » des IA. Ces cas où l’IA vous génère un texte parfaitement sensé mais factuellement faux et purement inventé. L’un des cas les plus récents est celui où ChatGPT a généré pour un avocat américain, un mémoire d’appel truffé entre autres de citations inventées et de témoins qui n’ont jamais existé.
Attention ! Une réponse plausible d’une IA n’est pas forcément vraie
En effet, un modèle de langage ne cherche pas fondamentalement, à chaque token, à répondre à la question : « Cette information est-elle vraie ? ». Son mécanisme de génération cherche notamment à produire une suite de mots cohérente avec le contexte et les relations apprises pendant son entraînement. Or, une phrase statistiquement plausible peut ne pas être vraie.
Le modèle peut ainsi produire le nom d’une étude qui paraît crédible alors qu’elle n’existe pas. Il peut aussi inventer une référence ou attribuer une déclaration à la mauvaise personne. Le tout avec une réponse parfaitement construite et qui a du sens. Voilà ce qui rend certaines hallucinations difficiles à détecter. La syntaxe, le vocabulaire et l’enchaînement des idées peuvent donner une impression de fiabilité.
Cependant, l’explication de ce phénomène va au-delà des probabilités. Les données d’entraînement, les informations manquantes, le contexte fourni, les méthodes de génération ou encore le post-entraînement peuvent aussi intervenir. Les outils permettant à une IA de rechercher sur le Web, consulter une base documentaire ou utiliser des sources externes peuvent réduire ce problème. Ils ne suppriment toutefois pas la nécessité de vérifier les informations importantes.
Alors, ChatGPT réfléchit-il ? Pas au sens où nous l’entendons pour un humain. Son fonctionnement repose sur des calculs qui lui permettent de produire, token après token, une suite plausible à partir du contexte. Que le résultat ressemble à un raisonnement humain ne signifie pas que les deux mécanismes soient identiques. Comprendre cette différence change la manière dont on doit utiliser ces outils. Une IA peut produire une réponse même lorsqu’elle ne dispose pas des informations nécessaires pour répondre correctement. Il revient donc à l’utilisateur de vérifier les informations importantes avant de les exploiter.
À lire prochainement sur Techs.tg : ce que coûte réellement, en calculs, en électricité et en eau, chaque réponse générée par une IA.
