D’où viennent les réponses d’une IA ?

Un enfant pose une question à un assistant conversationnel. Une réponse apparaît, rédigée, fluide, apparemment renseignée. La question naturelle qui suit est : où a-t-il trouvé cela. La réponse est moins intuitive qu’il n’y paraît, et elle explique une bonne part des malentendus sur ces outils.

Un modèle statistique, pas une consultation

Commençons par la définition. La CNIL décrit un modèle de langage comme un « modèle statistique de la distribution d’unités linguistiques (par exemple : lettres, phonèmes, mots) dans une langue naturelle », et précise que ce type de modèle peut prédire le mot suivant dans une séquence donnée (définition CNIL d’un modèle de langage).

Le mot important est « statistique ». Ce qui produit la réponse n’est pas une consultation de documents effectuée au moment de la question, mais un calcul portant sur la suite de mots la plus probable. La réponse est construite mot après mot, chaque mot étant choisi en fonction de ce qui précède.

D’où vient alors le contenu ? Des données d’entraînement. La CNIL définit l’apprentissage automatique comme « le procédé par lequel les informations pertinentes sont tirées d’un ensemble de données d’entraînement » (définition CNIL de l’apprentissage automatique). Le texte produit reflète donc des régularités observées dans un très grand volume de textes traités avant la mise en service, et non une recherche effectuée pour vous.

Une analogie utilisable, et ses limites

Pour expliquer cela à un enfant, l’image du moulage fonctionne convenablement. On ne montre pas l’objet d’origine, on montre une empreinte prise sur des milliers d’objets similaires. L’empreinte ressemble beaucoup à chacun d’eux, sans être aucun d’eux.

Cette analogie a une limite qu’il faut énoncer aussitôt. Un moulage garde une trace de l’objet moulé ; le modèle, lui, ne conserve pas les textes qu’il a traités sous une forme consultable. On ne peut donc pas lui demander de montrer la page d’où vient une phrase. C’est pour cette raison qu’un assistant peut fournir une référence qui n’existe pas, sans que cela relève d’un dysfonctionnement au sens strict : le mécanisme produit une suite de mots plausible, et une référence plausible ressemble à une référence réelle.

Une précision sur le vocabulaire. Il est plus juste de dire qu’un système « produit », « calcule » ou « restitue » que d’employer des verbes supposant une intention ou une intériorité. Ce n’est pas un scrupule de langage : la formulation oriente ce qu’un enfant attend de l’outil. Un enfant qui croit s’adresser à quelqu’un de renseigné ne vérifiera rien.

Ce qui change quand l’outil consulte le web

Certains assistants effectuent désormais une recherche en ligne pendant la conversation, puis rédigent à partir des pages récupérées. Le fonctionnement décrit plus haut reste en place, mais une source consultable s’y ajoute. La différence est concrète : dans ce cas, des liens accompagnent la réponse, et ces liens s’ouvrent.

D’où une consigne simple, transmissible à un enfant de dix ans : si la réponse comporte un lien, ouvrez-le et vérifiez que la page dit bien ce qui est affirmé. Si elle n’en comporte aucun, considérez qu’il n’y a pas de source.

Trois conséquences pratiques

1. La question de la source est légitime et doit être posée à chaque fois. Ce n’est pas de la méfiance excessive, c’est la seule manière de savoir si une affirmation tient. Un enfant peut prendre ce réflexe très tôt, avant même de comprendre le mécanisme.
2. La qualité de la formulation ne renseigne pas sur l’exactitude du contenu. Une réponse bien tournée et une réponse fausse sont produites par le même mécanisme, et rien dans le style ne les distingue. C’est le point le plus difficile à admettre, pour les adultes comme pour les enfants.
3. Ces outils sont plus sûrs sur ce qui est très largement documenté que sur ce qui est rare, local ou récent. Les régularités d’un corpus sont plus nettes là où les exemples abondent.

Aborder le sujet sans compte et sans écran

Comprendre d’où viennent les réponses ne suppose pas d’utiliser l’outil. Pour les enfants, c’est même préférable, et les règles d’âge le confirment. OpenAI indique que ChatGPT n’est pas destiné aux enfants de moins de 13 ans, et que les 13-18 ans doivent obtenir le consentement de leur parent avant de l’utiliser (centre d’aide OpenAI). En France, le seuil du consentement numérique est fixé à 15 ans : en dessous, l’accord d’un titulaire de l’autorité parentale s’ajoute à celui de l’enfant pour les services en ligne fondés sur le consentement (recommandation 4, CNIL).

Le mécanisme de prédiction s’illustre d’ailleurs sans aucun appareil. Commencez une phrase très courante et laissez l’enfant la finir : « il était une fois », « pour aller à l’école, je prends mon ». L’enfant complète sans hésiter, parce qu’il a rencontré ces suites de mots un grand nombre de fois. Prenez ensuite une phrase inhabituelle et recommencez : la complétion devient hésitante, et plusieurs propositions apparaissent. Cette différence d’assurance entre le cas fréquent et le cas rare est, à petite échelle, ce qui se joue dans un modèle de langage.

Le Cahier des curieux propose des pages à imprimer construites sur ce principe, utilisables sans connexion.

En résumé : les réponses viennent d’un calcul de probabilité effectué sur des régularités observées dans des textes traités à l’avance. Ce n’est ni une bibliothèque consultée à la demande, ni un interlocuteur renseigné. C’est une machine à produire des suites de mots vraisemblables, et la vraisemblance n’est pas l’exactitude.