Fine-tuning ou meilleur prompt : ce qui corrige vraiment le point faible d’un agent IA

Quand un agent donne une réponse fausse ou hors ton, le réflexe est souvent de se tourner vers le fine-tuning — réentraîner le modèle sur un jeu d’exemples propres à l’entreprise pour qu’il « apprenne » le bon comportement. Ce réflexe est généralement le mauvais premier geste. Le fine-tuning est un outil réel, mais ce n’est pas la réponse par défaut à « l’agent ne fait pas ce qu’on veut » — l’utiliser comme tel ajoute un coût et une charge de maintenance qu’un meilleur prompt ou une étape de recherche rendent souvent inutiles.

Ce que montre vraiment la comparaison

Une étude contrôlée menée par des chercheurs de Google DeepMind et Stanford, On the generalization of language models from in-context learning and finetuning (2025), a comparé les deux approches sur des données appariées et montré que l’apprentissage en contexte — donner l’information pertinente directement dans le prompt — généralisait mieux que le fine-tuning classique sur des situations nouvelles et proches, jamais vues telles quelles à l’entraînement. Le fine-tuning tendait à rendre le modèle meilleur pour reproduire des schémas proches de ses exemples d’entraînement, mais moins souple dès qu’une requête réelle s’en écartait.

Une façon pratique de trancher

La question à poser en premier n’est pas « a-t-on assez de données pour faire du fine-tuning » mais « le problème est-il un manque d’information, ou un manque de compétence ». Un modèle qui se trompe parce qu’il ignore votre grille tarifaire actuelle ou votre politique en vigueur est un problème d’information — réglé par la recherche documentaire, pas par le réentraînement, et mis à jour dès que le document source change. Un modèle qui raisonne mal de façon constante sur une tâche étroite, stable, à fort volume, et dont le processus a peu de chances de changer, se rapproche du cas où le fine-tuning justifie son coût.

• →Commencez par le prompt et le contexte retrouvé — aucun coût d’entraînement, aucun réentraînement quand l’information sous-jacente change, et c’est là que la plupart des échecs d’agents se corrigent réellement.
• →Réservez le fine-tuning à une tâche étroite, à fort volume et stable, où le prompt a été testé et montre une limite mesurable.
• →Le fine-tuning n’est pas un réglage définitif : une source de vérité qui change régulièrement demande un réentraînement périodique du modèle affiné — un coût récurrent que la recherche documentaire évite.

Le réflexe de fine-tuner vient généralement d’une erreur de diagnostic, pas d’un vrai besoin — la plupart du temps, l’agent manquait de la bonne information au bon moment, pas d’une nouvelle compétence.