Pourquoi une IA oublie le début d’une longue conversation

La scène revient souvent. Une conversation s’étire, votre enfant redonne une consigne posée vingt messages plus tôt, et la réponse repart comme si cette consigne n’avait jamais existé. Le prénom du personnage change, le ton convenu disparaît, la contrainte « sans dialogue » est oubliée. Rien n’est cassé : le service a simplement atteint la limite de ce qu’il peut relire d’un seul coup.

Cette limite porte un nom, la fenêtre de contexte. C’est l’une des notions les plus utiles à connaître, parce qu’elle explique une bonne part des réponses décevantes, et parce qu’elle se contourne avec deux ou trois réflexes simples.

Une fenêtre, pas un souvenir

La documentation d’Anthropic définit la fenêtre de contexte comme la quantité totale de texte à laquelle un modèle peut se référer pour produire une réponse, cette réponse incluse (documentation Claude). Du côté d’OpenAI, la même notion est présentée comme le nombre maximal de jetons qu’une seule requête peut mobiliser, les éléments reçus et produits comptant tous dans ce total (guide OpenAI).

Un mot sur les jetons, puisque le terme revient partout. Le texte n’est pas traité lettre par lettre ni mot par mot, mais découpé en petits morceaux, les jetons. Un mot court tient dans un jeton, un mot long en occupe plusieurs. Peu importe le détail : retenez qu’il existe un compteur, et que tout ce qui est échangé le fait monter.

Il n’y a donc pas d’oubli au sens où un être humain oublie. Le texte le plus ancien cesse simplement d’être transmis au moment du calcul. Ce qui n’est pas transmis ne peut pas peser sur la réponse, et aucune trace n’en subsiste nulle part dans l’opération.

Ce qui occupe la place

Beaucoup de parents imaginent que seuls leurs propres messages comptent. La documentation d’Anthropic énumère en réalité tout ce qui entre dans le compteur.

La taille de la fenêtre dépend du modèle employé, et ces chiffres évoluent vite. La documentation d’Anthropic indique que plusieurs modèles actuels disposent d’une fenêtre d’un million de jetons, d’autres de 200 000. Le guide d’OpenAI, de son côté, donne l’exemple d’un modèle doté d’une fenêtre de 128 000 jetons et d’une limite de 16 384 jetons en sortie. Ces valeurs sont celles affichées par ces deux documentations au moment de la rédaction de cet article.

Ce qui se passe quand la fenêtre est pleine

Trois comportements différents sont possibles, et c’est la raison pour laquelle l’expérience varie d’un service à l’autre.

1. Un refus net. Lorsqu’un développeur interroge directement un modèle et dépasse la limite, une erreur est renvoyée, du type « requête trop longue ». Rien n’est produit. C’est le cas documenté par Anthropic.
2. Un défilement des plus anciens messages. Les interfaces grand public peuvent gérer la fenêtre en continu, en écartant les messages les plus anciens à mesure que de nouveaux arrivent. La conversation se poursuit, mais son début ne pèse plus sur les réponses. C’est le comportement le plus déroutant, parce que rien ne l’annonce à l’écran.
3. Un résumé automatique. Certains services condensent les échanges anciens pour poursuivre au-delà de la limite. Les deux documentations citées décrivent ce mécanisme. Utile, mais un résumé perd du détail : une contrainte précise posée au début peut disparaître dans l’opération.

Le réflexe serait alors de réclamer la plus grande fenêtre possible. La documentation d’Anthropic invite à la prudence : à mesure que le nombre de jetons augmente, la précision et la capacité à retrouver un élément précis se dégradent, un effet qu’elle désigne par l’expression « context rot ».

La conséquence pratique est contre-intuitive mais vérifiable en famille : une conversation courte et nette donne souvent de meilleurs résultats qu’une conversation-fleuve de quatre-vingts messages, même quand la place technique ne manque pas.

Quatre réflexes à montrer à un enfant

1. Ouvrir une nouvelle conversation à chaque nouveau sujet. C’est le geste le plus rentable. Les devoirs d’histoire et l’histoire inventée du soir n’ont rien à gagner à cohabiter.
2. Remettre la consigne importante dans le dernier message. Non pas la répéter en bloc, mais la redonner en une phrase, juste avant la demande.
3. Garder les contraintes dans un carnet papier. Trois lignes à recopier valent mieux que de remonter dans l’historique pour les retrouver.
4. Se méfier d’une réponse après un très long échange. Un enfant qui apprend à relancer en une conversation neuve plutôt qu’à insister vingt fois gagne du temps et de la justesse.

Ne pas confondre avec deux autres limites

La fenêtre de contexte est régulièrement confondue avec deux choses différentes, et la distinction vaut d’être tenue.

• La date de coupure des données d’entraînement concerne ce qui a servi à construire le modèle, bien avant la conversation. Elle explique les réponses à côté sur l’actualité récente, pas les oublis en cours d’échange.
• Les fonctions de mémoire proposées par certains services conservent des informations d’une conversation à l’autre. C’est un mécanisme distinct, et optionnel. Il mérite une vérification de ses réglages, en particulier sur un compte utilisé par un adolescent.

Puisque la question des comptes est posée, trois repères s’appliquent aux mineurs. Moins de 13 ans : pas de compte personnel sur ces services, les conditions d’utilisation de ChatGPT fixant un minimum de 13 ans, ou l’âge minimum requis dans le pays. Entre 13 et 18 ans : l’accord d’un parent est exigé par ces mêmes conditions. À partir de 15 ans en France, un mineur peut consentir seul à certains traitements de ses données, et en dessous l’accord d’un titulaire de l’autorité parentale est requis conjointement avec le sien, au titre de l’article 45 de la loi Informatique et Libertés (recommandation de la CNIL). La France ne reconnaît pas pour autant de « majorité numérique » à 15 ans : la CNIL précise que les textes ne consacrent pas de majorité numérique globale à cet âge (recommandation sur la capacité d’agir des mineurs en ligne).

Le montrer plutôt que l’expliquer

Une fenêtre de contexte se démontre très bien sans appareil : faites circuler une histoire de phrase en phrase autour de la table, en autorisant chacun à ne retenir que les deux dernières phrases entendues. Le récit dérive en quelques tours, et plus personne n’a besoin d’explication.

Nos activités sans écran reposent sur ce principe, et les histoires du site offrent un support tout prêt pour tenter l’expérience ce soir.