# Quiz — Session 1 : Fondements : Transformers & Tokenisation **Programme :** Applied AI — Niveau Intermédiaire **Instructeur :** Yann Isola **Format :** 10 questions à choix multiples — une seule bonne réponse par question. **Durée conseillée :** 15 minutes en autonomie, ou 4–5 questions sélectionnées à main levée en fin de session. **Seuil de réussite conseillé :** 7/10. --- ### Question 1 — (Mémorisation) L'innovation de 2017 Quelle publication de 2017 a introduit l'architecture « transformer » ? - A. *ImageNet Classification with Deep Convolutional Neural Networks* - B. *Attention Is All You Need* - C. *Playing Atari with Deep Reinforcement Learning* - D. *Language Models are Few-Shot Learners* **✅ Réponse : B.** **Explication :** L'article *Attention Is All You Need* (Google, 2017) a introduit le transformer, architecture fondée entièrement sur le mécanisme d'attention et entièrement parallélisable. A est l'article d'AlexNet (2012, vision par ordinateur) ; C concerne l'apprentissage par renforcement ; D est l'article de GPT-3 (2020), postérieur. --- ### Question 2 — (Compréhension) Ce que « lit » réellement le modèle Quand vous envoyez la phrase « Bonjour, comment allez-vous ? » à un modèle de langage, que traite-t-il en réalité ? - A. Chaque lettre, une par une - B. Chaque mot entier, comme dans un dictionnaire - C. Des tokens : des fragments de texte d'environ 3–4 caractères en moyenne ⚠ - D. Une image de la phrase, analysée par reconnaissance optique **✅ Réponse : C.** **Explication :** Le texte est découpé par un tokeniseur en fragments (tokens) issus d'un vocabulaire fixe (~100 000 entrées, ordre de grandeur variable selon les modèles ⚠). Les mots fréquents tiennent en un token, les mots rares sont assemblés à partir de plusieurs fragments. Ni lettres individuelles, ni mots entiers systématiques. --- ### Question 3 — (Application) L'énigme du comptage de lettres Un modèle se trompe en comptant le nombre de « r » dans « strawberry ». Quelle est l'explication la PLUS juste ? - A. Le modèle n'a jamais rencontré ce mot pendant son entraînement - B. Le mot est découpé en tokens opaques : le modèle n'a pas d'accès direct aux caractères individuels - C. Le modèle ne comprend pas l'anglais - D. La mémoire du modèle est saturée par la conversation **✅ Réponse : B.** **Explication :** « strawberry » est un mot courant que le modèle « connaît » très bien statistiquement (A est faux). Mais il le voit comme quelques blocs (ex. [str][aw][berry]), pas comme 10 lettres : compter les caractères exige une granularité que la tokenisation masque. C'est une limite structurelle — que les modèles récents contournent parfois en épelant d'abord le mot ⚠. --- ### Question 4 — (Compréhension) Les embeddings Que signifie l'équation célèbre « roi − homme + femme ≈ reine » ? - A. Le modèle stocke une base de données de relations familiales royales - B. Les mots sont des vecteurs, et les relations de sens correspondent à des directions cohérentes dans l'espace vectoriel - C. Le modèle applique une règle de grammaire codée à la main pour le genre - D. C'est une coïncidence sans signification, souvent citée à tort **✅ Réponse : B.** **Explication :** Chaque token est converti en vecteur (liste de nombres) ; les sens proches occupent des positions proches. L'arithmétique vectorielle révèle que des relations comme masculin→féminin ou pays→capitale forment des directions régulières de l'espace. Rien n'est codé à la main : ces régularités émergent de l'entraînement. --- ### Question 5 — (Compréhension) Le rôle de l'attention À quoi sert le mécanisme d'attention dans un transformer ? - A. À filtrer les contenus inappropriés avant la réponse - B. À permettre à chaque token d'évaluer dynamiquement la pertinence de tous les autres tokens du contexte - C. À mémoriser définitivement les conversations des utilisateurs - D. À compresser le texte pour économiser de la mémoire **✅ Réponse : B.** **Explication :** L'attention attribue à chaque paire de tokens un poids de pertinence, recalculé dynamiquement selon le contexte : dans « L'avocat mange un avocat », le second « avocat » est tiré vers le sens « fruit » par « mange ». C'est ce mécanisme qui résout les dépendances à longue distance (ex. rattacher un pronom à son antécédent lointain). --- ### Question 6 — (Application) L'analogie du pipeline Votre entreprise veut qu'un modèle existant apprenne le format exact de vos rapports d'audit internes. Dans l'analogie du cours, cette étape correspond à : - A. L'université (pré-entraînement) - B. L'école de finition (post-entraînement / RLHF) - C. L'onboarding en entreprise (fine-tuning) - D. L'examen final (évaluation / benchmark) **✅ Réponse : C.** **Explication :** Le fine-tuning spécialise un modèle déjà entraîné sur un domaine, un ton ou un format précis — comme un nouvel embauché déjà diplômé qu'on forme aux procédures maison. Le pré-entraînement (A) construit les connaissances générales ; le post-entraînement/RLHF (B, Reinforcement Learning from Human Feedback : apprentissage par renforcement à partir de retours humains) façonne le comportement d'assistant. --- ### Question 7 — (Mémorisation) La tâche du pré-entraînement Quelle est la tâche unique sur laquelle repose le pré-entraînement d'un grand modèle de langage ? - A. Répondre correctement à des questions posées par des humains - B. Traduire des textes entre plusieurs langues - C. Prédire le token suivant dans un texte - D. Classer les textes en catégories (spam, sentiment, sujet…) **✅ Réponse : C.** **Explication :** Tout le savoir du modèle provient d'une tâche d'apparence triviale : deviner le token suivant sur des milliers de milliards de tokens de texte ⚠. Pour bien prédire, le modèle est contraint d'absorber grammaire, faits, styles et rudiments de raisonnement. Les comportements de « réponse aux questions » (A) viennent ensuite, au post-entraînement. --- ### Question 8 — (Application) Le goulot d'étranglement de l'inférence Un chatbot en production répond trop lentement. Le prestataire propose de doubler la puissance de calcul brute des serveurs. Pourquoi cette proposition est-elle probablement inefficace ? - A. Parce que la vitesse d'inférence est surtout limitée par la bande passante mémoire : chaque token généré exige de faire transiter tous les paramètres du modèle depuis la mémoire - B. Parce que les modèles ont une vitesse fixe définie par leur licence d'utilisation - C. Parce que doubler le calcul double aussi le temps de réponse - D. Parce que la lenteur vient toujours du réseau internet **✅ Réponse : A.** **Explication :** À chaque token produit, l'ensemble des paramètres (des dizaines à des centaines de gigaoctets ⚠) doit circuler de la mémoire vers les unités de calcul. Le calcul attend la mémoire — analogie du cours : le chef étoilé (calcul) attend la navette de l'entrepôt (mémoire). Leviers réels : mémoire plus rapide (HBM — High Bandwidth Memory, mémoire à haute bande passante), modèle plus petit, optimisations d'inférence. --- ### Question 9 — (Compréhension) Les lois d'échelle Que décrivent les « lois d'échelle » (scaling laws) ? - A. La réglementation européenne encadrant la taille maximale des modèles d'IA - B. L'amélioration régulière et prévisible des performances quand on augmente ensemble données, calcul et paramètres - C. La croissance des tarifs des fournisseurs d'IA d'une année sur l'autre - D. La vitesse à laquelle un modèle oublie les informations anciennes **✅ Réponse : B.** **Explication :** Les lois d'échelle sont des régularités empiriques : la qualité de prédiction s'améliore selon des courbes régulières quand on accroît les trois ingrédients de façon équilibrée. C'est ce qui permet aux laboratoires de prédire la performance d'un futur modèle avant de l'entraîner — et justifie leurs investissements massifs. Nuance : elles prédisent une métrique statistique, pas l'apparition de capacités précises. --- ### Question 10 — (Application/synthèse) Le double apport des transformers Avant 2017, les réseaux récurrents (RNN — Recurrent Neural Networks, réseaux de neurones récurrents) traitaient le texte mot après mot. Quels DEUX problèmes les transformers ont-ils résolus simultanément ? - A. Le coût de l'électricité et la taille des centres de données - B. La traduction automatique et la reconnaissance vocale - C. L'oubli des dépendances lointaines dans le texte (résolu par l'attention) et l'impossibilité de paralléliser l'entraînement (résolu par une architecture parallèle exploitant les GPU) - D. Les hallucinations et les biais des modèles **✅ Réponse : C.** **Explication :** C'est le résumé structurel de la session : attention = chaque token accède à tout le contexte, même lointain (mémoire longue) ; parallélisme = tous les tokens se calculent en même temps, permettant d'exploiter des milliers de GPU (Graphics Processing Unit, processeur graphique) et d'atteindre les tailles de modèles actuelles. Les hallucinations et les biais (D), eux, n'ont PAS été résolus par les transformers — on en reparlera dans les sessions suivantes. --- ## Grille de correction rapide | Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7 | Q8 | Q9 | Q10 | |----|----|----|----|----|----|----|----|----|-----| | B | C | B | B | B | C | C | A | B | C | **Interprétation des scores :** - **9–10 :** maîtrise complète — prêt·e pour la Session 2. - **7–8 :** acquis solides — relire les explications des questions ratées. - **5–6 :** revoir les sections correspondantes du support ; refaire les exercices 1 et 3. - **< 5 :** reprendre la page interactive et le support de session avant la Session 2 ; ne pas hésiter à contacter l'instructeur. --- *Quiz — Applied AI, Niveau Intermédiaire, Session 1. © Yann Isola. Version 1.0.*