Un agent IA peut-il vraiment raisonner comme un juriste ? Ce que montre un benchmark de 162 tâches

Un agent de veille réglementaire ou juridique est souvent présenté comme capable de « lire le droit à votre place » — signaler un nouveau texte, résumer une décision, dire si une clause tient toujours. Jusqu’où va réellement cette promesse n’est pas une question d’opinion : une large équipe interdisciplinaire de chercheurs et de juristes a construit et publié LegalBench, un benchmark de 162 tâches couvrant plusieurs familles distinctes de raisonnement juridique, présenté à NeurIPS 2023.

Retrouver l’information n’est pas raisonner

Les tâches du benchmark ont été construites à la main par des juristes, précisément pour que le « raisonnement juridique » ne s’effondre pas en une seule catégorie floue. Le schéma qui ressort de ce type d’évaluation structurée, retrouvé dans des benchmarks juridiques comparables, est constant : les modèles réussissent nettement mieux sur les tâches qui ressemblent à de la recherche d’information — retrouver la règle pertinente, se souvenir d’une définition, localiser le texte applicable — que sur celles qui demandent d’appliquer cette règle à un ensemble de faits précis et embrouillés pour aboutir à une conclusion défendable. Retrouver l’information est un problème à peu près résolu ; le jugement ne l’est pas.

Ce que ça change pour un agent de veille réglementaire

La ligne de partage pratique suit le même schéma. Un agent est très adapté pour surveiller les sources officielles, signaler qu’un texte a changé, et résumer en langage clair ce qui a changé — un vrai travail de recherche et de synthèse, à un volume qu’aucune personne ne peut tenir en vérifiant manuellement des dizaines de registres chaque semaine. Il est un mauvais substitut pour l’étape suivante : décider ce qu’un changement donné signifie pour votre contrat précis, votre processus précis, votre responsabilité précise. Cette étape a encore besoin d’une personne qui peut être tenue responsable du jugement rendu.

• →À déléguer à l’agent : la surveillance des registres et journaux officiels, le signalement des textes nouveaux ou modifiés, le résumé de ce qui a changé depuis la dernière version.
• →À garder côté humain : l’interprétation de ce qu’un changement signifie pour votre situation précise, et toute décision ou validation qui en découle.
• →Traitez un résumé juridique formulé avec assurance comme n’importe quelle autre production d’IA sur un sujet à conséquences — comme un premier jet à vérifier, pas une réponse définitive.