Fenêtre de contexte : pourquoi une conversation plus longue peut rendre un agent moins fiable, pas mieux informé

La fenêtre de contexte d’un modèle — la quantité de texte qu’il peut retenir dans une même conversation, y compris un document long, un historique de discussion ou un grand nombre de passages retrouvés — ne cesse de grandir, et il est tentant de traiter cette croissance comme une amélioration simple : plus de place veut dire plus d’information accessible à l’agent. Ce que la recherche sur la façon dont les modèles utilisent réellement cet espace montre, c’est que l’accès n’est pas la même chose qu’un usage fiable, et remplir une fenêtre de contexte ne garantit pas que le modèle pèse chaque partie avec la même attention.

Ce que veut dire « perdu au milieu »

Une équipe de Stanford et d’autres institutions, dans Lost in the Middle: How Language Models Use Long Contexts, publié dans les Transactions of the Association for Computational Linguistics (2023), a testé la capacité des modèles à retrouver une information pertinente selon sa position dans une entrée longue. Le constat : la performance est la plus forte quand l’information pertinente se trouve près du début ou de la fin du contexte, et chute nettement quand elle se trouve au milieu — et cette dégradation s’aggrave, plutôt qu’elle ne s’améliore, à mesure que le contexte s’allonge, même chez des modèles explicitement conçus pour le contexte long.

Ce que ça change pour un agent qui travaille sur des documents longs

Pour un agent chargé de répondre à partir d’un contrat long, d’un historique de tickets volumineux ou d’un rapport étendu, la conséquence pratique est que déverser le document entier dans le contexte et faire confiance au modèle pour trouver le bon passage est une conception plus faible que de retrouver d’abord la section pertinente et de fournir au modèle une entrée plus courte et ciblée. Une fenêtre de contexte plus grande rend plus d’information accessible — elle ne rend pas, à elle seule, un agent meilleur pour en retrouver la bonne portion.

• →Retrouvez le passage pertinent avant de générer une réponse, plutôt que de compter sur le modèle pour le localiser dans une entrée très longue.
• →Placez l’information la plus critique près du début ou de la fin de ce qui est envoyé au modèle quand un contexte long est inévitable.
• →Testez un agent spécifiquement sur des tâches à documents longs avant de supposer qu’une fenêtre de contexte plus grande a résolu un problème de précision — ce n’est souvent pas le cas.