Non. La génération augmentée par récupération (RAG) fait chercher à l'IA des documents avant qu'elle rédige sa réponse, mais ne supprime pas les hallucinations. Une étude de Stanford et Yale (2024) a mesuré 17 % à 33 % de réponses hallucinées sur trois outils de recherche en droit américain, sur des questions choisies pour être exigeantes.
Un article publié en 2020 par des chercheurs de Facebook AI Research, de l'University College London et de l'université de New York (Lewis et al., arXiv 2005.11401), décrit des modèles de génération augmentée par récupération qui combinent deux mémoires :
Les auteurs partaient d'un constat : les grands modèles de langage stockent des connaissances, mais savoir d'où vient une réponse et mettre ces connaissances à jour restaient des problèmes ouverts. Dans leurs tests de génération de texte, les modèles RAG produisaient un texte plus spécifique et plus factuel qu'un modèle de référence sans récupération.
Une étude de chercheurs de Stanford et de Yale résume le fonctionnement en deux étapes (Magesh et al., arXiv 2405.20362) :
Les auteurs parlent d'un fonctionnement « à livre ouvert » : le modèle peut s'appuyer sur le texte qu'on lui fournit, et pas seulement sur sa mémoire d'entraînement.
Deux études, dont les auteurs sont en partie communs, ont mesuré ces hallucinations, toutes deux sur le droit américain.
| Étude | Ce qui est testé | Résultat publié |
|---|---|---|
| Dahl et al., « Large Legal Fictions », 2024 (arXiv 2401.01301) | Modèles généralistes, dont GPT-4, interrogés sur des décisions de juridictions fédérales américaines | Hallucinations au moins 58 % du temps, sur les versions des modèles testées |
| Magesh et al., « Hallucination-Free? », 2024 (arXiv 2405.20362) | Lexis+ AI, Westlaw AI-Assisted Research et Ask Practical Law AI, outils juridiques fondés sur le RAG, et GPT-4 | Lors des tests de mars à mai 2024, chaque outil juridique a halluciné entre 17 % et 33 % du temps, contre 43 % pour GPT-4 |
La seconde étude porte directement sur des outils de recherche juridique. Elle a été préenregistrée, porte sur plus de 200 questions juridiques, et vise expressément les affirmations commerciales selon lesquelles le RAG « élimine » ou « évite » les hallucinations. Sa conclusion : ces affirmations sont exagérées. Les outils ont halluciné moins que GPT-4 mais sont restés loin du zéro. Deux d'entre eux ont répondu à moins de questions que GPT-4 sans donner des réponses significativement plus fiables quand ils répondaient. Les auteurs précisent que leur évaluation ne vaut que pour la période du test : les réponses des outils ont évolué pendant l'étude. Ils précisent aussi que leurs questions ont été choisies pour être exigeantes et que ces taux ne visent pas à estimer la fréquence moyenne des erreurs en usage courant : ils servent à vérifier si le RAG a fait disparaître les hallucinations, comme l'annonçaient les éditeurs.
Aucune de ces études n'a testé d'outil français ni de question de droit français : leurs pourcentages ne se transposent pas tels quels. Leur typologie des erreurs peut en revanche servir de grille pour tester un outil.
L'étude de Stanford et Yale définit l'hallucination de façon plus large que la décision inventée. Une réponse hallucinée contient soit une information incorrecte, soit l'affirmation fausse qu'une source soutient une proposition.
Elle distingue deux dimensions :
| Dimension | Ce qui est vérifié | Classement par l'étude |
|---|---|---|
| Exactitude | La réponse est-elle exacte et pertinente pour la question ? | Réponse incorrecte : hallucination ; refus ou réponse hors sujet : réponse incomplète |
| Ancrage, pour une réponse exacte | Les affirmations clés renvoient-elles à des documents pertinents qui les soutiennent ? | Source citée mais mal interprétée ou inapplicable, réponse « mal ancrée » : hallucination ; affirmations clés sans source : réponse incomplète, pas hallucination |
Avec une réponse mal ancrée, la source citée ne dit pas ce que la réponse lui fait dire, ou ne s'applique pas. Une vérification qui s'arrête à l'existence de la référence ne voit pas ce défaut. L'étude décrit aussi le cas d'un outil qui, interrogé sur les décisions notables d'un juge fictif, a cité une décision réelle, qui n'avait pas été rédigée par ce juge.
Les auteurs relèvent trois difficultés propres au domaine juridique :
Ils notent aussi que, quand une règle spéciale entre en conflit avec une règle générale beaucoup plus présente dans les données d'entraînement du modèle, celui-ci peut rester plus fidèle à ces données qu'aux documents récupérés.
Pour repérer une réponse mal ancrée, l'étude relève qu'il faut ouvrir les références citées, lire les sources, apprécier leur autorité et les comparer aux propositions de la réponse. Les trois premiers critères qui suivent en découlent ; les deux derniers portent sur la base interrogée et sur les prémisses de la question. Pour les tester, mieux vaut des questions dont l'avocat connaît déjà la réponse :
La méthode pour contrôler une décision, base par base, est détaillée dans notre article sur la vérification d'une jurisprudence citée par une IA. Pour le risque propre aux outils généralistes, voir ChatGPT est-il fiable pour le droit ?, et pour le choix d'un outil, notre comparatif de la meilleure IA juridique pour les avocats.
Plato répond au même besoin de contrôle par la traçabilité : chaque chiffre renvoie au document dont il provient, ce qui permet à l'avocat de vérifier lui-même la source avant de l'utiliser.
Que signifie RAG en intelligence artificielle ?
Retrieval-Augmented Generation, en français génération augmentée par récupération. Le système recherche des documents dans une base, puis les fournit au modèle de langage avec la question pour qu'il rédige sa réponse.
Une IA juridique fondée sur le RAG peut-elle encore halluciner ?
Oui. Lors de tests menés en 2024, l'étude de Stanford et Yale a mesuré entre 17 % et 33 % de réponses hallucinées sur trois outils de recherche en droit américain fondés sur le RAG, loin de zéro, sur des questions choisies pour être exigeantes.
Qu'est-ce qu'une réponse « mal ancrée » ?
Une réponse exacte dont les affirmations clés citent une source qui ne les soutient pas : la source est mal interprétée ou inapplicable. L'étude la compte comme une hallucination.
Les chiffres de Stanford et Yale valent-ils pour le droit français ?
Non, pas tels quels : les deux études portent sur des questions de droit américain. Leur typologie des erreurs peut servir de grille pour tester un outil.
Pourquoi le RAG est-il plus difficile en droit ?
Parce que la réponse dépend de la juridiction, de la date et des conditions d'application d'une règle, et qu'un document proche par les mots peut être inapplicable. Les auteurs relèvent aussi la difficulté d'articuler plusieurs sources.
Comment tester un outil d'IA juridique avant de l'adopter ?
Avec des questions dont on connaît la réponse : vérifier que chaque source est citée, accessible, applicable et qu'elle dit bien ce que la réponse lui attribue, et voir comment l'outil réagit à une prémisse fausse.