# Quiz final — Session 10 : évaluation complète du programme **Programme :** Applied AI — Niveau Intermédiaire — Instructeur : Yann Isola **Format :** 10 QCM (questionnaire à choix multiples) — une seule bonne réponse par question — durée conseillée : 10 minutes. **Particularité :** ce quiz final couvre **l'ensemble des 10 sessions** du programme. Une question par session, dans l'ordre du parcours. --- **Q1. [Session 1 — Fondements] Pourquoi un LLM (Large Language Model, grand modèle de langage) peut-il échouer à compter les lettres du mot « anticonstitutionnellement » ?** - A. Parce que le modèle n'a pas été entraîné sur des mots français - B. Parce que le modèle ne voit pas des lettres mais des **tokens** (unités de découpage du texte) : le mot est découpé en quelques fragments, et les lettres individuelles n'existent pas dans sa représentation - C. Parce que la fenêtre de contexte est trop courte pour un mot aussi long - D. Parce que la température est réglée trop haut par défaut **Q2. [Session 2 — Prompting] Parmi ces quatre prompts, lequel applique le mieux les bonnes pratiques professionnelles ?** - A. « Rédige un e-mail. » - B. « Rédige un e-mail professionnel, s'il te plaît, c'est important, fais de ton mieux, merci beaucoup. » - C. « Tu es assistant commercial. Rédige un e-mail de relance (≤ 120 mots) pour un devis envoyé il y a 10 jours au client {nom}. Ton : cordial, sans pression. Termine par une question ouverte. Voici deux exemples du style attendu : {exemple_1} {exemple_2} » - D. « Rédige le meilleur e-mail de relance jamais écrit, sois créatif et n'hésite pas à improviser sur le contexte. » **Q3. [Session 3 — Sortie structurée & température] Vous construisez un pipeline qui extrait des montants de factures vers un JSON (JavaScript Object Notation, format de données structuré) traité automatiquement. Quel réglage est le plus adapté ?** - A. Température élevée (≈ 1,0) pour que le modèle trouve des solutions créatives aux factures ambiguës - B. Température basse (≈ 0) + schéma de sortie structurée imposé, car on veut de la **reproductibilité** et un format garanti exploitable par la machine - C. Température moyenne (≈ 0,7) qui est le meilleur compromis universel - D. La température n'a aucun effet sur la stabilité du format de sortie **Q4. [Session 4 — RAG] Quel est le principe du RAG (Retrieval-Augmented Generation, génération augmentée par récupération) ?** - A. Réentraîner le modèle sur les documents de l'entreprise pour qu'il les mémorise - B. Rechercher, au moment de la question, les passages pertinents dans une base documentaire, puis les **injecter dans le prompt** pour que le modèle réponde à partir de ces sources - C. Augmenter la taille de la fenêtre de contexte en payant une option du fournisseur - D. Générer des documents synthétiques pour enrichir la base de connaissances **Q5. [Session 5 — Tool calling] Quand un modèle « appelle un outil », qui exécute réellement l'action (requête en base de données, envoi d'e-mail…) ?** - A. Le modèle lui-même, directement sur vos serveurs - B. Le fournisseur du modèle, dans son cloud - C. **Votre code applicatif** : le modèle émet seulement une demande structurée, et c'est vous qui exécutez (ou refusez) l'appel, avec vos autorisations et votre journalisation - D. Un service tiers de confiance certifié par le fournisseur **Q6. [Session 6 — Boucle agentique] Qu'est-ce qui distingue fondamentalement un agent d'un simple appel de modèle ?** - A. Un agent utilise un modèle plus gros - B. Un agent fonctionne en **boucle** : il observe le résultat de ses actions, décide de la suite, et recommence jusqu'à atteindre l'objectif ou une condition d'arrêt — d'où l'importance des limites (budget d'itérations, humain dans la boucle) - C. Un agent n'a pas besoin de prompt système - D. Un agent ne peut pas halluciner car il vérifie ses réponses **Q7. [Session 7 — Multi-agents & MCP] À quoi sert le MCP (Model Context Protocol, protocole de contexte de modèle) ?** - A. À faire communiquer les agents entre eux par télépathie de tokens - B. À standardiser la façon dont un modèle se connecte à des outils et sources de données : un serveur MCP expose ses capacités une fois, et tout client compatible peut les utiliser sans intégration sur mesure - C. À compresser le contexte pour réduire les coûts - D. À chiffrer les échanges entre le modèle et l'utilisateur **Q8. [Session 8 — Production] Votre application IA reçoit des erreurs HTTP 429 du fournisseur. Que se passe-t-il et que faites-vous ?** - A. Le serveur du fournisseur est en panne ; il faut changer de fournisseur immédiatement - B. Votre clé API (Application Programming Interface, interface de programmation applicative) est invalide ; il faut la régénérer - C. Vous dépassez la **limite de débit** (rate limit) ; il faut ralentir et réessayer avec un backoff exponentiel (attente qui double à chaque tentative), et à terme lisser ou répartir la charge - D. Le prompt est trop long ; il faut le tronquer **Q9. [Session 9 — Évaluation] Pourquoi « ça a l'air bien sur mes 5 essais » n'est-il pas une évaluation acceptable avant une mise en production ?** - A. Parce qu'il faut au minimum 5 000 essais pour toute évaluation - B. Parce que 5 essais choisis par le développeur ne mesurent ni la variabilité, ni les cas limites, ni les performances **par segment** : il faut un jeu d'évaluation représentatif, des métriques définies et un seuil de décision explicite - C. Parce que seule une certification externe du fournisseur fait foi - D. Parce que l'évaluation manuelle est interdite par le RGPD (Règlement Général sur la Protection des Données) **Q10. [Session 10 — Gouvernance] Votre entreprise déploie un assistant IA de présélection de candidatures. Selon l'AI Act (règlement européen sur l'intelligence artificielle) ⚠, dans quelle catégorie ce système tombe-t-il, et avec quelle conséquence principale ?** - A. Risque minimal : aucune obligation, le recrutement est un usage interne libre - B. Risque limité : il suffit d'indiquer aux candidats qu'une IA est utilisée - C. **Haut risque** : le recrutement figure dans les domaines sensibles — obligations renforcées (gestion des risques, qualité des données, documentation, supervision humaine) - D. Risque inacceptable : tout usage de l'IA en recrutement est interdit dans l'UE (Union européenne) --- ## Corrigé & explications **Q1 → B.** Le modèle manipule des tokens, pas des caractères. « Anticonstitutionnellement » devient 3–6 tokens ⚠ selon le tokeniseur : demander de compter ses lettres revient à demander de compter les briques d'un mur en ne voyant que des pans entiers. (Session 1 — c'était la toute première « surprise » du cours.) **Q2 → C.** Rôle + tâche précise + contraintes (longueur, ton) + variables + exemples (few-shot, apprentissage par exemples) : la recette complète. A est vide, B confond politesse et contexte, D maximise l'imprévisibilité là où on veut du contrôle. (Session 2.) **Q3 → B.** Pipeline automatisé = reproductibilité et format garanti. La « créativité » (température haute) est un défaut ici : une facture ambiguë doit être **signalée**, pas interprétée avec imagination. (Session 3.) **Q4 → B.** Le RAG ne modifie pas le modèle (contrairement à A) : il enrichit le prompt au moment de la requête avec les passages récupérés. C'est pour cela qu'il est actualisable en continu et traçable (on peut citer les sources). (Session 4.) **Q5 → C.** Le modèle **demande**, votre code **dispose**. C'est le fondement de la sécurité des outils : validation, permissions et journalisation restent de votre côté. (Session 5 — et c'est aussi la base de la « responsabilité » vue en Session 10.) **Q6 → B.** La boucle observation → décision → action est la définition de l'agent. Corollaire : sans limites (itérations, budget, validation humaine pour les actions irréversibles), une boucle peut s'emballer. (Session 6.) **Q7 → B.** MCP standardise la connexion outils/données : « un port universel » au lieu d'une intégration sur mesure par couple client-outil. (Session 7.) **Q8 → C.** 429 = « Too Many Requests », signal de limite de débit, pas de panne. Réponse d'ingénieur : retry avec backoff exponentiel + lissage de charge. Confondre 429 et panne serveur mène à de mauvaises décisions d'architecture. (Session 8.) **Q9 → B.** Une évaluation digne de ce nom : jeu de cas représentatif, métriques explicites, seuil go/no-go, et — leçon finale de la Session 10 — segmentation par groupe pour débusquer les biais que la moyenne masque. (Session 9.) **Q10 → C.** Le recrutement est explicitement dans les domaines à **haut risque** de l'AI Act ⚠ : autorisé, mais sous obligations lourdes, dont la supervision humaine. Ni interdit (D), ni anodin (A, B). Les montants de sanctions et le calendrier d'application évoluent ⚠ : vérifier l'état du droit au moment du projet. (Session 10.) --- ### Barème indicatif - **9–10 :** maîtrise complète du parcours — le projet final devrait le confirmer. - **7–8 :** solide ; revoir les corrigés des questions manquées, ce sont probablement des sessions à re-parcourir en diagonale. - **5–6 :** les fondamentaux sont là ; reprendre les guides des sessions concernées avant d'appliquer en contexte professionnel. - **< 5 :** re-parcourir les supports ; proposer un entretien individuel avec le formateur pour cibler les révisions.