# Exercices — Session 1 : Fondements : Transformers & Tokenisation **Programme :** Applied AI — Niveau Intermédiaire **Instructeur :** Yann Isola **Session :** 1 / Module 1 Trois exercices de difficulté croissante. Les corrigés détaillés figurent après chaque exercice — ne les consultez qu'après avoir cherché ! --- ## Exercice 1 — Safari tokens 🔍 (pratique) **Difficulté :** ★☆☆ **Durée :** 10 minutes (8 min d'exploration + 2 min de mise en commun) **Matériel :** la page web interactive de la session (onglet « Tokeniseur ») ou un tokeniseur en ligne. **Format :** individuel ou en binôme. ### Consignes Vous allez explorer comment un modèle découpe réellement le texte. Tapez chacune des entrées suivantes dans le tokeniseur et notez vos observations dans le tableau. 1. `le chat` 2. `anticonstitutionnellement` 3. `ChatGPT` 4. `2024` puis `20240115` 5. `bonjour` puis `bonjuor` (avec la faute de frappe) 6. Une phrase de votre métier (jargon inclus) — par exemple un terme technique de votre secteur. Pour chaque entrée, remplissez : | Entrée | Nombre de tokens | Le découpage vous surprend-il ? Pourquoi ? | |---|---|---| | … | … | … | ### Questions de synthèse **Q1.** Quels types de textes produisent PEU de tokens par caractère ? Lesquels en produisent BEAUCOUP ? **Q2.** Un collègue vous dit : « J'ai demandé au modèle d'écrire "anticonstitutionnellement" à l'envers, il s'est trompé. Cette IA est nulle. » Que lui répondez-vous, en une ou deux phrases, en utilisant ce que vous venez d'observer ? **Q3.** (Bonus) Votre entreprise paie l'API (interface de programmation applicative) d'un fournisseur d'IA au token. Vous rédigez vos prompts en français. Quelle conséquence budgétaire tirez-vous de vos observations ? --- ### ✅ Corrigé — Exercice 1 **Observations attendues :** | Entrée | Observation typique | |---|---| | `le chat` | 2 tokens environ — mots très fréquents = 1 token chacun (l'espace est souvent inclus dans le token suivant). | | `anticonstitutionnellement` | Mot rare et long → découpé en plusieurs fragments (ex. `anti` / `constitution` / `nelle` / `ment` — le découpage exact varie selon le tokeniseur ⚠). | | `ChatGPT` | Souvent 2–3 tokens (ex. `Chat` / `G` / `PT`) : les noms propres récents ou les mélanges majuscules/minuscules sont fragmentés. | | `2024` vs `20240115` | `2024` peut être 1 token (fréquent) ; `20240115` est découpé en fragments arbitraires (`2024` / `01` / `15` ou autre). Explique les erreurs sur les manipulations de chaînes de chiffres. | | `bonjour` vs `bonjuor` | Le mot correct = 1 token ; la faute de frappe explose en 2–4 fragments. Le tokeniseur ne « connaît » que les séquences fréquentes. | | Jargon métier | Plus le terme est rare dans le corpus d'entraînement, plus il est fragmenté. | **Q1 — Réponse modèle :** Peu de tokens : le texte courant, les mots fréquents de la langue, l'anglais standard. Beaucoup de tokens : mots rares, jargon, fautes de frappe, suites de chiffres, code, langues peu représentées dans les données d'entraînement. **Q2 — Réponse modèle :** « Le modèle ne voit pas les lettres : il voit des blocs de plusieurs caractères (tokens). Inverser un mot lettre par lettre exige un accès aux caractères individuels qu'il n'a pas nativement — c'est une limite structurelle de la tokenisation, pas un signe de "bêtise" générale. Sur des tâches où les tokens suffisent (résumer, rédiger, traduire), le même modèle excelle. » **Q3 — Réponse modèle (bonus) :** Le français est généralement découpé en plus de tokens que l'anglais pour un contenu équivalent (les tokeniseurs sont optimisés sur des corpus majoritairement anglophones ⚠). Conséquences : coût API supérieur à contenu égal, et fenêtre de contexte consommée plus vite. Pistes : prompts concis, éventuellement composants système en anglais quand c'est acceptable, et surveillance de la consommation réelle de tokens. **Critères de réussite :** l'exercice est réussi si le participant a constaté par lui-même (1) que fréquence ⇒ moins de tokens, (2) qu'un même contenu peut coûter des nombres de tokens très différents, (3) et sait relier le comptage de lettres raté à l'opacité des tokens. --- ## Exercice 2 — Le jeu des analogies vectorielles 🧭 (conceptuel) **Difficulté :** ★★☆ **Durée :** 8 minutes (6 min en binôme + 2 min de correction collective) **Matériel :** papier/stylo. Aucun ordinateur nécessaire. **Format :** binômes. ### Rappel du principe Dans l'espace des embeddings, les relations de sens sont des **directions** : `roi − homme + femme ≈ reine` signifie que la « flèche » qui va de *homme* à *femme* est la même que celle qui va de *roi* à *reine*. ### Partie A — Complétez les analogies Pour chaque ligne, trouvez le mot manquant ET nommez la « direction de sens » utilisée (ex. : masculin→féminin, pays→capitale…). 1. `Paris − France + Japon ≈ ?` 2. `marcher − marche + mange ≈ ?` *(indice : pensez aux formes verbales)* 3. `chaton − chat + chien ≈ ?` 4. `pilote − avion + navire ≈ ?` 5. `Berlin − Allemagne + Italie ≈ ?` ### Partie B — Créez vos propres analogies Inventez **deux** analogies de la forme `A − B + C ≈ D` : - une issue de la langue courante ; - une issue de VOTRE domaine professionnel (finance, droit, santé, marketing…). Pour chacune, nommez la direction de sens. ### Partie C — La question piège `avocat − tribunal + salade ≈ ?` … Cette « équation » a-t-elle un sens ? Que nous apprend ce cas sur les limites des embeddings **statiques** (un vecteur unique par mot) et sur l'intérêt de l'**attention** vue en cours ? --- ### ✅ Corrigé — Exercice 2 **Partie A :** 1. **Tokyo** — direction : pays → capitale. 2. **manger** *(ou « mange » selon l'interprétation)* — direction : forme conjuguée → infinitif (relation morphologique). Réponse acceptée : toute forme montrant que la direction « conjugué→infinitif » appliquée à « mange » donne « manger ». 3. **chiot** — direction : adulte → petit de l'animal. 4. **capitaine** *(ou « marin/skipper », accepter si justifié)* — direction : véhicule → personne qui le conduit. 5. **Rome** — direction : pays → capitale (même direction qu'en 1 et 5 : c'est le point clé — LA MÊME flèche fonctionne pour tous les couples pays/capitale). **Partie B — exemples de réponses valables :** - Langue courante : `voir − vu + pris ≈ prendre` (participe→infinitif) ; `grand − plus grand + plus petit ≈ petit` (comparatif). - Professionnel : `action − dividende + obligation ≈ coupon` (instrument → revenu associé) ; `diagnostic − médecin + avocat ≈ consultation juridique` (professionnel → acte) ; `prospect − marketing + recrutement ≈ candidat` (domaine → cible). - **Critère de correction :** la réponse est correcte si la MÊME relation lie A→B et D→C. Faites verbaliser la direction : c'est la compétence visée. **Partie C — Réponse modèle :** L'équation est bancale parce que « avocat » a deux sens (métier / fruit) : un embedding **statique** ne peut donner qu'UN vecteur, qui mélange les deux sens — le résultat est un point flou entre le champ juridique et le champ alimentaire. C'est précisément ce que corrige l'**attention** dans les transformers : la représentation de « avocat » devient **contextuelle** — tirée vers le fruit si « salade » est dans le contexte, vers le juriste si « tribunal » l'est. Moralité : embeddings = position de départ ; attention = ajustement au contexte. **Critères de réussite :** le participant sait (1) résoudre une analogie en identifiant la direction, (2) en construire une, (3) expliquer pourquoi l'ambiguïté lexicale nécessite l'attention. --- ## Exercice 3 — Triage : quelle étape du pipeline ? 🏗️ (application) **Difficulté :** ★★★ **Durée :** 15 minutes (10 min en petits groupes + 5 min de correction) — peut être donné en devoir à la maison si le temps manque. **Matériel :** papier/stylo. **Format :** groupes de 3–4. ### Contexte Vous êtes consultant·e IA. Six clients vous exposent leur situation. Pour chacune, déterminez **quelle notion du cours** est en jeu et **quelle réponse** vous leur donnez. Les notions mobilisables : *pré-entraînement, post-entraînement/RLHF (apprentissage par renforcement à partir de retours humains), fine-tuning, inférence & bande passante mémoire, tokenisation, lois d'échelle.* **Scénario 1.** Un cabinet juridique : « Le modèle généraliste rédige bien, mais il n'utilise jamais nos formulations contractuelles maison ni notre plan type. Faut-il entraîner notre propre modèle à partir de zéro ? » **Scénario 2.** Une banque : « Notre chatbot répond correctement mais TROP LENTEMENT aux heures de pointe. Notre prestataire propose de doubler la puissance de calcul des serveurs. Bonne idée ? » **Scénario 3.** Une startup : « Notre assistant donne parfois des réponses factuellement bonnes mais sèches, parfois limite désagréables avec les clients. Le savoir est là, le ton ne va pas. » **Scénario 4.** Un e-commerçant : « Le modèle échoue à valider nos références produit du type "REF-88472-XL-2024" : il inverse des chiffres, en oublie. Pourtant il rédige des fiches produit impeccables ! » **Scénario 5.** Un directeur innovation : « Les fournisseurs sortent des modèles toujours plus gros et annoncent à l'avance leurs performances. Comment peuvent-ils promettre des résultats sur un modèle pas encore entraîné ? Marketing mensonger ? » **Scénario 6.** Un service client international : « Nos coûts d'API ont augmenté de 40 % depuis qu'on a basculé nos prompts de l'anglais vers le français et le polonais, à volume de demandes égal. Le fournisseur nous facture-t-il en douce ? » ### Pour chaque scénario, produisez : 1. La **notion du cours** concernée (une ligne). 2. Le **diagnostic** en 1–2 phrases. 3. La **recommandation** concrète en 1–2 phrases. --- ### ✅ Corrigé — Exercice 3 **Scénario 1 — Fine-tuning.** *Diagnostic :* le modèle possède déjà la compétence générale (acquise au pré-entraînement) ; il lui manque la spécialisation maison — cas d'école du fine-tuning (l'« onboarding en entreprise »). *Recommandation :* surtout PAS d'entraînement from scratch (coût de dizaines à centaines de millions ⚠, données massives requises). Options par coût croissant : (a) instructions + exemples dans le prompt, (b) fine-tuning d'un modèle existant sur un corpus de contrats maison. Commencer par (a), passer à (b) si insuffisant. **Scénario 2 — Inférence & bande passante mémoire.** *Diagnostic :* l'inférence est gouvernée par la bande passante mémoire (chaque token généré exige de faire transiter tous les paramètres du modèle), pas par la puissance de calcul. Doubler le calcul risque de ne presque rien changer. *Recommandation :* examiner plutôt : un modèle plus petit pour les demandes simples (moins de paramètres à déplacer = plus rapide), du matériel à mémoire plus rapide (HBM — High Bandwidth Memory, mémoire à haute bande passante), des réponses plus courtes, ou des techniques d'optimisation d'inférence proposées par le prestataire. Exiger du prestataire un diagnostic du goulot réel avant de payer. **Scénario 3 — Post-entraînement / RLHF.** *Diagnostic :* problème typique d'alignement du comportement, pas de connaissances : c'est le rôle du post-entraînement (l'« école de finition »). Le RLHF (apprentissage par renforcement à partir de retours humains) façonne ton, utilité et politesse à partir de préférences humaines. *Recommandation :* à l'échelle d'un client : d'abord corriger via les instructions système (ton attendu, exemples de bonnes réponses) ; si insuffisant, choisir un modèle dont le post-entraînement correspond mieux à l'usage, ou affiner sur des paires de réponses préférées si le fournisseur le permet. **Scénario 4 — Tokenisation.** *Diagnostic :* « REF-88472-XL-2024 » est découpé en tokens arbitraires ; le modèle manipule des blocs opaques, pas des caractères — d'où inversions et oublis sur les chaînes de type référence, alors que la rédaction (tâche au niveau des tokens) reste excellente. *Recommandation :* ne pas confier la validation caractère par caractère au modèle seul : la déléguer à du code classique (expression régulière, comparaison exacte) et réserver le modèle à la rédaction. Règle générale : ce qui exige une précision au caractère près relève de l'outil programmatique. **Scénario 5 — Lois d'échelle.** *Diagnostic :* pas du marketing mensonger : les lois d'échelle montrent que la performance (mesurée par la qualité de prédiction) évolue de façon régulière et prévisible avec les paramètres, les données et le calcul. Les laboratoires extrapolent ces courbes avant d'entraîner. *Recommandation :* expliquer au directeur que la prédiction porte sur des métriques statistiques agrégées ; l'apparition de capacités précises est moins prévisible (émergence par paliers) et les benchmarks publicitaires méritent toujours une vérification sur VOS cas d'usage. **Scénario 6 — Tokenisation (efficacité multilingue).** *Diagnostic :* aucune facturation cachée : les tokeniseurs, optimisés sur des corpus majoritairement anglophones, découpent le français et surtout le polonais en davantage de tokens à contenu égal (⚠ ratio variable selon les tokeniseurs). Facturé au token, le même volume coûte donc plus cher. *Recommandation :* mesurer le ratio tokens/mot réel par langue, compresser les instructions système (voire les garder en anglais si acceptable), comparer les fournisseurs — certains tokeniseurs récents sont plus efficaces sur les langues européennes (⚠ évolutif). **Barème indicatif (pour correction en groupe) :** 1 point par notion correctement identifiée, 1 point par diagnostic exact, 1 point par recommandation actionnable — 18 points au total. À partir de 13/18 : très bonne maîtrise du module. --- *Exercices — Applied AI, Niveau Intermédiaire, Session 1. © Yann Isola. Version 1.0.*