Quiz — Session 4 : RAG, donner de la mémoire au modèle

Programme : Applied AI — Yann Isola · Niveau intermédiaire 10 questions · une seule bonne réponse par question · corrigé commenté en fin de document

Rappel : RAG = Retrieval-Augmented Generation, c’est-à-dire Génération Augmentée par la Récupération.

Question 1 — Parmi les affirmations suivantes sur la connaissance d'un LLM (Large Language Model, grand modèle de langage) utilisé sans RAG, laquelle est FAUSSE ?

A Sa connaissance s’arrête à la date de coupure de son entraînement. B Il n’a jamais vu les documents internes de votre entreprise. C Il stocke sa connaissance de manière compressée et avec pertes dans ses poids. D Il peut réciter mot pour mot n’importe quel document public de son entraînement.

Question 2 — L'analogie centrale du RAG vue en cours est :

A Donner des lunettes à un modèle myope. B Transformer un examen à mémoire fermée en examen à livre ouvert. C Remplacer le cerveau du modèle par une base de données. D Apprendre une nouvelle langue au modèle.

Question 3 — Quelle est la bonne séquence du pipeline d'ingestion (hors ligne) ?

A Embedding des documents → découpage en chunks → indexation. B Découpage en chunks → embedding de chaque chunk → indexation des vecteurs. C Indexation des documents → découpage → génération. D Embedding de la question → récupération → génération.

Question 4 — Dans le pipeline de requête (en ligne), pourquoi vectorise-t-on la question avec le même modèle d'embedding que celui utilisé pour les chunks ?

A Pour économiser de la mémoire. B Parce que c’est plus rapide. C Pour que question et chunks vivent dans le même espace géométrique, condition pour que la proximité mesure la similarité de sens. D Parce que les modèles d’embedding ne fonctionnent que sur des questions.

Question 5 — Un chunk beaucoup trop grand (par exemple 5 000 tokens) pose principalement quel problème ?

A Il mélange plusieurs sujets : son embedding devient une « moyenne » floue, moins discriminante à la recherche. B Il est illégal dans la plupart des bases vectorielles. C Il rend le modèle d’embedding plus lent à entraîner. D Aucun : plus le chunk est grand, meilleure est la récupération.

Question 6 — Pourquoi ajoute-t-on un chevauchement (overlap) entre chunks consécutifs ?

A Pour augmenter artificiellement la taille de l’index. B Pour éviter qu’une information à cheval sur une frontière de découpage soit perdue ou coupée en deux. C Pour que le modèle génère des réponses plus longues. D Pour compresser les documents.

Question 7 — Lors du découpage, la règle concernant les tableaux est :

A Les couper en lignes individuelles pour des chunks plus petits. B Les supprimer, car les modèles ne lisent pas les tableaux. C Les garder entiers dans un seul chunk : une ligne séparée de son en-tête devient inintelligible. D Les convertir systématiquement en image.

Question 8 — Un utilisateur cherche « erreur REF-2024-8812 » et le RAG purement vectoriel ne trouve rien de pertinent. Quelle est l'explication la plus probable et la solution ?

A Le modèle de génération est trop petit ; il faut un modèle plus grand. B Les codes exacts ont peu de contenu sémantique : leur embedding ne les distingue pas bien. Solution : recherche hybride, combinant vecteurs et recherche par mots-clés. C La fenêtre de contexte est saturée ; il faut la vider. D Le code est trop récent pour l’embedding ; il faut ré-entraîner le modèle.

Question 9 — Votre RAG répond à côté de la question. Vous inspectez et constatez que les chunks récupérés sont hors sujet. Le diagnostic correct est :

A Le modèle de génération hallucine ; il faut le remplacer. B La récupération a échoué : le modèle a travaillé correctement avec de mauvais ingrédients. Il faut corriger le découpage, l’index ou la recherche. C L’utilisateur a posé une mauvaise question ; rien à corriger. D C’est un bug aléatoire, relancer la requête suffira.

Question 10 — Quel est le rôle de l'instruction « Réponds uniquement à partir du contexte fourni ; si la réponse ne s'y trouve pas, dis-le » ?

A Accélérer la génération. B Réduire le coût des requêtes. C Empêcher le modèle de combler les trous avec sa mémoire interne, et permettre un refus honnête plutôt qu’une invention plausible. D Forcer le modèle à toujours répondre, même sans information.

Quiz — Session 4 : RAG, donner de la mémoire au modèle

Question 1 — Parmi les affirmations suivantes sur la connaissance d'un LLM (Large Language Model, grand modèle de langage) utilisé **sans** RAG, laquelle est FAUSSE ?