{"id":27966,"date":"2024-04-25T12:00:00","date_gmt":"2024-04-25T10:00:00","guid":{"rendered":"https:\/\/golem.ai\/?p=27966"},"modified":"2024-09-17T11:59:15","modified_gmt":"2024-09-17T09:59:15","slug":"ia-rag-llm","status":"publish","type":"post","link":"https:\/\/miralia.ai\/fr\/blog\/ia-rag-llm","title":{"rendered":"La RAG, est-ce bien suffisant ?\u00a0"},"content":{"rendered":"\n

Les Retrieval-Augmented Generation (RAG) mod\u00e8les combinent les capacit\u00e9s des LLMs<\/a> (Large Language Models) avec l’extraction d’informations depuis une base de donn\u00e9es ou un corpus externe pour r\u00e9pondre \u00e0 des questions ou g\u00e9n\u00e9rer du texte. Cette approche permet de pallier certaines limites des LLMs, notamment en ce qui concerne l’exactitude des informations, la pertinence des r\u00e9ponses, la mise \u00e0 jour des connaissances et limiter les \u201challucinations\u201d que peuvent avoir les LLMs lorsqu\u2019ils r\u00e9pondent \u00e0 une question o\u00f9 ils n\u2019ont pas de donn\u00e9es d\u2019entrainements. Ces derniers temps, on pr\u00e9sente souvent les RAGs comme LA solution pour pallier ces \u00e9ventuelles lacunes des LLMs. Pour autant, est-ce bien r\u00e9ellement suffisant ? <\/p>\n\n\n\n

La RAG, qu\u2019est-ce que c\u2019est ? <\/strong><\/h2>\n\n\n\n

La RAG a captiv\u00e9 la communaut\u00e9 des d\u00e9veloppeurs d’IA G\u00e9n\u00e9rative suite \u00e0 la parution de l’article intitul\u00e9 \u00ab Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks<\/a> \u00bb, r\u00e9dig\u00e9 par Patrick Lewis et son \u00e9quipe au sein de Facebook AI Research en 2020. Cette approche a \u00e9t\u00e9 rapidement adopt\u00e9e par de nombreux chercheurs, tant dans le milieu acad\u00e9mique qu’industriel, en raison de son potentiel \u00e0 enrichir significativement les capacit\u00e9s des syst\u00e8mes d’IAs g\u00e9n\u00e9ratives. <\/p>\n\n\n\n

RAG est l’acronyme de \u00ab Retrieval Augmented Generation \u00bb. Cette approche fusionne des m\u00e9thodes d’extraction d’informations et de g\u00e9n\u00e9ration de contenus par l’intelligence artificielle. Les techniques d’extraction sont int\u00e9ressantes pour r\u00e9cup\u00e9rer des donn\u00e9es de diverses sources en ligne telles que des articles ou des bases de donn\u00e9es, mais elles se limitent \u00e0 reproduire des informations d\u00e9j\u00e0 existantes sans ajouter de nouveaut\u00e9s . \u00c0 l’oppos\u00e9, les mod\u00e8les d\u2019IA g\u00e9n\u00e9ratives sont capables de cr\u00e9er des contenus nouveaux et contextuellement adapt\u00e9s, bien qu’ils puissent parfois manquer de pr\u00e9cision. Ainsi, le mod\u00e8le RAG est n\u00e9 de l’ambition d\u2019allier les avantages de ces deux mondes : il utilise l’extraction pour identifier les informations les plus pertinentes dans les sources disponibles, puis le mod\u00e8le de g\u00e9n\u00e9ration transforme ces \u00e9l\u00e9ments en r\u00e9ponses compl\u00e8tes et pertinentes, surmontant ainsi les limites de chaque approche prise isol\u00e9ment. Dans le cadre d’un syst\u00e8me RAG, l’extraction cible les donn\u00e9es n\u00e9cessaires, tandis que la g\u00e9n\u00e9ration les reformule en une r\u00e9ponse claire et pr\u00e9cise, adapt\u00e9e \u00e0 la demande.\u00a0<\/p>\n\n\n\n

Les diff\u00e9rents avantages de la RAG<\/strong><\/h2>\n\n\n\n

Actualit\u00e9 des informations<\/strong><\/h3>\n\n\n\n

Les LLMs sont entra\u00een\u00e9s sur de vastes ensembles de donn\u00e9es qui, une fois le processus d’entra\u00eenement termin\u00e9, ne sont plus mis \u00e0 jour. Cela signifie que, m\u00eame si un LLM comprend des informations jusqu’\u00e0 une certaine date, toute nouvelle information ou \u00e9v\u00e9nement survenant apr\u00e8s cette date n’est pas int\u00e9gr\u00e9 dans le mod\u00e8le. En revanche, les mod\u00e8les RAG peuvent consulter des bases de donn\u00e9es ou des corpus externes mis \u00e0 jour en continu ou p\u00e9riodiquement pour fournir des informations actuelles. Par exemple, si un utilisateur pose une question sur les derni\u00e8res avanc\u00e9es dans un domaine scientifique sp\u00e9cifique, un mod\u00e8le RAG peut r\u00e9cup\u00e9rer et int\u00e9grer les r\u00e9sultats de recherches publi\u00e9es apr\u00e8s la derni\u00e8re mise \u00e0 jour du mod\u00e8le LLM, garantissant ainsi que la r\u00e9ponse refl\u00e8te l’\u00e9tat actuel des connaissances.<\/p>\n\n\n\n

Pr\u00e9cision des donn\u00e9es<\/strong><\/h3>\n\n\n\n

Un LLM peut g\u00e9n\u00e9rer des r\u00e9ponses en se basant sur des patterns appris lors de son entra\u00eenement, ce qui peut mener \u00e0 des r\u00e9ponses g\u00e9n\u00e9ralistes<\/strong> ou impr\u00e9cises<\/strong> pour des questions n\u00e9cessitant des connaissances sp\u00e9cialis\u00e9es ou d\u00e9taill\u00e9es<\/strong>. Les mod\u00e8les RAG, en r\u00e9cup\u00e9rant des informations sp\u00e9cifiques d’un corpus de r\u00e9f\u00e9rence, peuvent fournir des r\u00e9ponses beaucoup plus pr\u00e9cises. Par exemple, si une question concerne des statistiques d\u00e9mographiques d’une r\u00e9gion sp\u00e9cifique, un mod\u00e8le RAG peut r\u00e9cup\u00e9rer ces donn\u00e9es directement \u00e0 partir de sources fiables au lieu de g\u00e9n\u00e9rer une r\u00e9ponse bas\u00e9e sur des estimations ou des g\u00e9n\u00e9ralisations. Cette capacit\u00e9 \u00e0 acc\u00e9der \u00e0 des informations d\u00e9taill\u00e9es et sp\u00e9cifiques permet aux RAG de surpasser les LLM en termes de pr\u00e9cision des donn\u00e9es. Cette solution n\u2019efface cependant pas compl\u00e8tement les risques d\u2019hallucinations dans une r\u00e9ponse.<\/p>\n\n\n\n

Gestion des biais<\/strong><\/h3>\n\n\n\n

Tous les ensembles de donn\u00e9es contiennent des biais, que ce soit en raison de la s\u00e9lection des donn\u00e9es, de la m\u00e9thode de collecte, ou des pr\u00e9jug\u00e9s inh\u00e9rents aux cr\u00e9ateurs de l’ensemble de donn\u00e9es. Les LLM, \u00e9tant entra\u00een\u00e9s sur de vastes ensembles de donn\u00e9es, peuvent int\u00e9grer et perp\u00e9tuer ces biais dans leurs r\u00e9ponses. Les mod\u00e8les RAG, en se basant sur des sources d’informations soigneusement s\u00e9lectionn\u00e9es et diversifi\u00e9es, peuvent aider \u00e0 att\u00e9nuer ce probl\u00e8me<\/strong>. Par exemple, en s\u00e9lectionnant des sources qui ont \u00e9t\u00e9 identifi\u00e9es comme ayant des biais diff\u00e9rents ou oppos\u00e9s, ou en incluant des sources sp\u00e9cifiquement destin\u00e9es \u00e0 repr\u00e9senter des perspectives sous-repr\u00e9sent\u00e9es, un mod\u00e8le RAG peut produire des r\u00e9ponses qui sont plus \u00e9quilibr\u00e9es et moins biais\u00e9es. Cela dit, la gestion des biais n\u00e9cessite une vigilance constante et une \u00e9valuation r\u00e9guli\u00e8re des sources d’informations pour s’assurer qu’elles restent repr\u00e9sentatives et \u00e9quilibr\u00e9es.<\/p>\n\n\n\n

Les diff\u00e9rentes limites de la RAG   <\/strong><\/h2>\n\n\n\n

S\u00e9lection et pertinence des sources<\/strong><\/h3>\n\n\n\n

La qualit\u00e9 des r\u00e9ponses fournies par un mod\u00e8le RAG d\u00e9pend fortement de la s\u00e9lection des sources d’informations auxquelles il a acc\u00e8s. Trouver, choisir, et maintenir un ensemble de sources fiables, \u00e0 jour, et repr\u00e9sentatives peut s’av\u00e9rer complexe. Plus encore, il y a aussi le risque que le mod\u00e8le r\u00e9cup\u00e8re des informations de sources qui ne sont pas tout \u00e0 fait pertinentes pour la question pos\u00e9e, ce qui peut mener \u00e0 des r\u00e9ponses inexactes ou hors sujet. Il y a alors un fort travail d\u2019indexation et d\u2019orchestration pour rendre cette approche viable pour sur un niveau professionnel.<\/p>\n\n\n\n

Gestion de la d\u00e9sinformation et des biais<\/strong><\/h3>\n\n\n\n

Bien que les RAG puissent potentiellement r\u00e9duire les biais pr\u00e9sents dans les r\u00e9ponses en diversifiant leurs sources, ils ne sont pas \u00e0 l’abri de r\u00e9cup\u00e9rer et de propager des informations biais\u00e9es ou fausses. La pr\u00e9sence de d\u00e9sinformation dans les sources externes peut conduire \u00e0 g\u00e9n\u00e9rer des r\u00e9ponses qui perp\u00e9tuent des erreurs ou des pr\u00e9jug\u00e9s. La s\u00e9lection des sources doit donc \u00eatre effectu\u00e9e avec soin pour minimiser ce risque.<\/p>\n\n\n\n

Capacit\u00e9s de raisonnement complexe<\/strong><\/h3>\n\n\n\n

M\u00eame si les RAG am\u00e9liorent la pertinence et l’actualit\u00e9 des informations fournies, ils ne r\u00e9solvent pas n\u00e9cessairement tous les d\u00e9fis li\u00e9s au raisonnement complexe et \u00e0 la compr\u00e9hension profonde du contexte que peuvent rencontrer les mod\u00e8les de langage. D\u00e8s lors, il subsiste toujours un risque d\u2019hallucination malgr\u00e9 la RAG. Et ce, car le LLM peut parfois ne pas retrouver un certain mot dans la base de donn\u00e9es de la RAG. Ou li\u00e9 une trop grand nombre de r\u00e9ponses ce qui rend g\u00e9n\u00e9ralement les IA g\u00e9n\u00e9ratives moins attentives \u00e0 l\u2019essentiel.<\/p>\n\n\n\n

Int\u00e9grit\u00e9 de la r\u00e9ponse<\/strong><\/h3>\n\n\n\n

L’int\u00e9gration d’informations r\u00e9cup\u00e9r\u00e9es dans les r\u00e9ponses g\u00e9n\u00e9r\u00e9es pr\u00e9sente un d\u00e9fi en termes d’assurer que les r\u00e9ponses restent coh\u00e9rentes et logiquement int\u00e9gr\u00e9es. Il peut \u00eatre difficile de garantir que les informations r\u00e9cup\u00e9r\u00e9es s’alignent parfaitement avec le reste de la r\u00e9ponse ou avec le mod\u00e8le du LLM, ce qui peut parfois mener \u00e0 des hallucinations.<\/p>\n\n\n\n

Les solutions <\/strong><\/h2>\n\n\n\n

Si on observe des inconv\u00e9nients, des solutions<\/a> \u00e9mergent pour d\u00e9passer les limites \u00e9nonc\u00e9es pr\u00e9c\u00e9demment. Par exemple : <\/p>\n\n\n\n