Notes du studio — la robustesse avant la confiance

Chaque semaine, la même flotte d’agents intervient chez plusieurs clients à la fois. Cette semaine, aucun nouveau commit chez nos clients — dix jours sans changement de code. Plutôt que d’inventer un chantier, on revient sur deux constructions déjà en production dans le studio, choisies pour ce qu’elles apprennent à un dirigeant qui n’ouvre jamais un terminal : la fiabilité de la lecture automatique de documents chez un courtier en assurance, et le cadre d’accès posé autour d’un agent chez une société de coursiers.

Un courtier en assurance : ne jamais faire confiance à une seule lecture de document

Chez ce courtier, l’agent doit croiser plusieurs polices et plusieurs contrats à la fois pour repérer un trou de couverture — une clause manquante, un plafond insuffisant. Le premier chantier n’a pas porté sur l’analyse elle-même mais sur ce qui la précède : la bibliothèque de lecture PDF initiale cassait sur certains fichiers en environnement serverless, elle a été remplacée par une bibliothèque plus robuste et testée spécifiquement sur le rejet des fichiers non conformes, avant même d’autoriser l’outil à croiser plusieurs documents en une seule analyse. Une étude de Dan Hendrycks et ses coauteurs, publiée aux NeurIPS Datasets and Benchmarks 2021 sous le nom CUAD, montre que même les meilleurs modèles restent nettement en retrait d’un expert humain pour repérer les clauses qui comptent dans un contrat — un rappel que l’étape d’ingestion documentaire mérite autant de soin technique que le modèle qui l’exploite ensuite. Leçon pour un dirigeant : avant de faire confiance à une analyse automatisée de documents, vérifiez que l’étape de lecture a été testée sur vos documents réels — mise en page hétérogène, scans, fichiers corrompus — pas seulement sur le cas propre montré en démo.

Une société de coursiers : qui a le droit d’agir, et comment le montrer sans risque

Chez cette société de coursiers, le studio a ajouté des rôles et des équipes autour du tableau de bord des opérations, de façon à ce que seules les bonnes personnes puissent valider ou modifier une action proposée par l’agent — et construit, en parallèle, une version de démonstration de ce même tableau de bord, alimentée par des données synthétiques générées automatiquement, sans identifiant ni accès à la moindre donnée réelle. Un dirigeant peut ainsi regarder l’agent tourner, et tester de nouveaux profils d’accès, avant de confier l’un ou l’autre à la production. Une étude d’Erik Brynjolfsson, Danielle Li et Lindsey Raymond, menée sur plus de 5 000 agents de support client et publiée par le NBER en 2023, a mesuré des gains de productivité concentrés chez les moins expérimentés — jusqu’à 34 % — précisément quand les suggestions de l’IA restent visibles et modifiables plutôt que d’agir seules. Leçon pour un DSI : le cadre d’accès (qui peut valider quoi) et un mode démonstration sans donnée réelle ne sont pas des à-côtés — c’est ce qui permet à une équipe de monter en compétence sur un agent IA en production sans exposer de donnée client au passage.

Le fil qui relie les deux chantiers : avant de discuter de la performance d’un modèle, le studio vérifie toujours deux choses — que ce qu’il lit est fiable, et que ce qu’il peut faire est cadré par des rôles clairs, vérifiables sans toucher à une seule donnée réelle. C’est cette discipline, plus que le modèle utilisé, qui décide si un agent IA en production tient sur la durée.