Pourquoi un agent IA invente des réponses — et comment le repérer avant qu’il n’atteigne un client

L’hallucination — un modèle de langage qui génère un contenu plausible, formulé avec assurance et faux — est le risque auquel tout déploiement d’agent IA finit par se confronter. La tentation est de la traiter comme un bug que la prochaine version de modèle corrigera discrètement. La recherche dit l’inverse : l’hallucination est une propriété structurelle de la façon dont ces modèles génèrent du texte, un mot probable à la fois — pas un défaut isolé à un fournisseur ou une version.

Une propriété du fonctionnement du modèle, pas un accident

Une équipe de la Hong Kong University of Science and Technology et de ses collaborateurs, dans une revue de la littérature parue en 2023 dans ACM Computing Surveys, pose une distinction utile : l’hallucination intrinsèque, quand le texte généré contredit directement la source fournie, et l’hallucination extrinsèque, quand il avance un fait que la source ne permet ni de confirmer ni d’infirmer. La distinction compte en pratique — la première se réduit avec un contexte mieux ancré (un pipeline RAG bien construit, par exemple), la seconde demande à l’agent de reconnaître la limite de ce qu’il sait réellement, une propriété bien plus difficile à obtenir.

Ce qui réduit vraiment le risque en production

Aucune mesure isolée n’élimine l’hallucination ; ce qui fonctionne, c’est de les superposer. Ancrer les réponses de l’agent dans des documents d’entreprise retrouvés plutôt que dans sa mémoire ouverte supprime toute une catégorie d’erreurs intrinsèques. Une source citée et visible sur chaque réponse transforme un échec invisible en échec vérifiable. Et pour tout ce qui a de vraies conséquences — un remboursement, une clause contractuelle, une lecture réglementaire — un humain reste dans la boucle avant que l’action soit définitive, pas après.

• →Un harnais de test avec des questions pièges, exécuté avant chaque déploiement — pas seulement les questions faciles sur lesquelles la démo a été construite.
• →Une consigne explicite, valorisée, de répondre « je ne sais pas » quand la base de connaissances ne contient pas la réponse, plutôt que de combler le vide par une supposition plausible.
• →Une validation humaine conservée sur les décisions à fort impact — un remboursement, une résiliation, une interprétation réglementaire — même une fois que l’agent traite le volume courant sans supervision.

L’hallucination ne disparaîtra pas entièrement par la seule ingénierie — la recherche est plutôt nette sur ce point. L’objectif réaliste pour un agent en production n’est pas zéro hallucination : c’est de repérer celles qui se produisent avant qu’un client, un auditeur ou un régulateur ne le fasse à sa place.