Trois démonstrations interactives pour voir de vos propres yeux comment un modèle de langage lit, représente et relie le texte.
Démo 1
🧩 Le tokeniseur : comment le modèle découpe votre texte
Tapez n'importe quel texte : il est découpé en tokens — des fragments, pas des mots. Les mots fréquents tiennent en un token ; les mots rares, les fautes et les nombres sont fragmentés. (Tokeniseur pédagogique simplifié : les vrais tokeniseurs suivent la même logique avec un vocabulaire appris de ~100 000 fragments ⚠.)
0
tokens
0
caractères
0
caractères / token
À retenir : le modèle ne voit jamais les lettres individuelles — seulement ces blocs.
C'est pourquoi compter les « r » de « strawberry » ou inverser un mot lui est structurellement difficile,
alors que rédiger ou résumer (des tâches au niveau des tokens) lui est facile.
Démo 2
🗺️ L'espace d'embeddings : le sens devient géométrie
Chaque token devient un vecteur — une position dans un espace de sens. Les mots proches par le sens sont voisins dans l'espace. Faites glisser pour explorer, survolez un point pour lire le mot. (Projection 2D pédagogique : les vrais espaces comptent des centaines de dimensions ⚠.)
Animaux Couleurs Métiers
Observez : « vétérinaire » se place entre le nuage des métiers et celui des animaux — les embeddings
capturent les appartenances multiples. Et l'animation montre que la relation « masculin → féminin »
est une direction de l'espace : la même flèche relie homme→femme et roi→reine.
Démo 3
🔦 L'attention : chaque mot « regarde » les autres
Pour préciser son sens, chaque token attribue un poids d'importance à tous les autres tokens du contexte. Cliquez sur un mot de la phrase, ou lisez la carte de chaleur : plus une case est foncée, plus l'attention est forte. (Poids illustratifs, simplifiés à des fins pédagogiques.)
Cliquez sur un mot pour voir où se porte son attention.
Le point clé : les poids sont recalculés dynamiquement pour chaque phrase.
C'est ce mécanisme — introduit par les transformers en 2017 — qui résout les dépendances à longue distance
(rattacher « il » à « trophée » malgré la distance) là où les architectures précédentes « oubliaient ».
Synthèse
🎯 La chaîne complète
Le fil rouge de la session — ce qui se passe à chaque message que vous envoyez :