Le vrai coût de fonctionnement d’un agent IA : ce n’est pas le développement, ce sont les tokens

Une entreprise qui évalue un agent IA demande généralement d’abord le coût de développement — l’investissement ponctuel pour le concevoir, le connecter et le tester. Le chiffre qui détermine vraiment si l’agent reste rentable en est un autre : le coût par requête des appels au modèle qui le font tourner, payé à chaque exécution, aussi longtemps que l’agent reste en production. Sous-estimer ce coût récurrent, ou le surestimer sur la base d’une grille tarifaire dépassée, mènent tous deux à la mauvaise décision.

Un coût qui a chuté plus vite que la plupart des budgets ne le supposent

Le 2025 AI Index Report de Stanford HAI documente l’ampleur de la baisse : le coût d’interrogation d’un modèle performant au niveau de GPT-3.5 sur un benchmark standard est passé d’environ 20 $ par million de tokens en novembre 2022 à environ 0,07 $ par million de tokens en octobre 2024 — une réduction de plus de 280 fois en moins de deux ans. Une estimation de coût construite sur la grille tarifaire de l’an dernier est probablement déjà fausse, dans un sens ou dans l’autre.

Ce qui pèse vraiment sur la facture

La baisse du prix par token ne fait pas tendre la facture totale vers zéro toute seule — le total dépend autant des choix de conception que du prix sous-jacent : combien de contexte est envoyé à chaque requête, combien d’étapes un agent effectue pour accomplir une seule tâche, et si un modèle plus petit et moins cher est utilisé pour les étapes de routine pendant qu’un modèle plus puissant est réservé à celles qui en ont réellement besoin.

• →Mesurez le coût par requête, pas le coût par conversation, avant d’estimer la dépense mensuelle — un agent à plusieurs étapes peut appeler un modèle de nombreuses fois pour une seule interaction utilisateur.
• →Réduisez ce qui est envoyé comme contexte à chaque appel — un historique inutile ou un prompt système trop long se paie à chaque requête, à l’échelle.
• →Réservez le modèle le plus puissant et le plus cher aux étapes qui en ont réellement besoin, et routez les étapes de routine vers un modèle plus petit et moins cher — la plupart des tâches d’un agent ne nécessitent pas le modèle haut de gamme à chaque étape.