1/18
CPU, GPU et quantification
L’adéquation matérielle dépend de la forme de la charge ; la quantification peut réduire la mémoire des poids, mais compatibilité, latence et qualité de tâche exigent quand même des mesures.
Notes du présentateur
Lire cette phrase telle quelle et dire aux participants qu’elle résume toute la séance. Ne pas ouvrir sur des noms de fournisseurs.
2/18
Ce que cette séance n’est pas
- Pas un classement de puces
- Pas une recommandation de format de quantification
- Pas un banc d’essai citable la semaine prochaine
Notes du présentateur
Poser cette limite tôt évite les deux dérives les plus coûteuses en temps : les débats de fournisseurs et les débats de formats.
3/18
Ce à quoi un CPU est adapté
Flot de contrôle général, prétraitement, orchestration et charges modestes où les cibles de latence sont larges et le volume faible.
Notes du présentateur
Donner un cas concret : un outil interne mono-utilisateur à prompts courts, où un CPU tient la cible pendant qu’un GPU reste inutilisé.
4/18
Ce à quoi un GPU est adapté
De nombreuses unités arithmétiques parallèles et une bande passante mémoire élevée pour les opérations tensorielles denses.
Notes du présentateur
Insister autant sur la bande passante que sur le calcul. La plupart des participants n’arrivent qu’avec la puissance de calcul en tête.
5/18
Deux phases, deux goulets
| Phase | Parallélisme | Goulet habituel |
|---|---|---|
| Prefill | Toutes les positions du prompt à la fois | Calcul |
| Décodage | Une position de token à la fois | Bande passante mémoire |
| Les deux | Dépend du lot et du contexte | Mesurer, ne pas supposer |
Notes du présentateur
Dessiner la frise au tableau pendant l’affichage. Le caractère séquentiel du décodage est l’idée la plus porteuse de la première heure.
6/18
Pourquoi le décodage reste séquentiel
Chaque token généré est conditionné par le précédent : les positions ne peuvent pas être déroulées à l’avance.
Notes du présentateur
Demander à la salle ce qu’il faudrait pour paralléliser le décodage. La réponse à laquelle ils arrivent est le décodage spéculatif : mentionner son existence et poursuivre.
7/18
La première estimation mémoire
La mémoire des poids vaut approximativement paramètres × bits par poids ÷ 8.
Notes du présentateur
Faire le calcul du 7B en 16 bits en direct au tableau, pour que les 14 Go soient dérivés et non annoncés.
8/18
Comparatif de précisions, modèle 7B
| Précision | Octets par poids | Estimation des poids pour 7B |
|---|---|---|
| 16 bits (FP16/BF16) | 2 | environ 14 Go |
| 8 bits (INT8) | 1 | environ 7 Go |
| 4 bits | 0,5 | environ 3,5 Go |
Notes du présentateur
Dire explicitement qu’il s’agit d’ordres de grandeur pour les poids seuls. Sinon quelqu’un inscrira 3,5 Go dans un plan de capacité.
9/18
Ce que l’estimation exclut
- Cache KV et activations
- Surcharge de l’allocateur et tampons d’exécution
- Métadonnées et parfois couches non quantifiées
Notes du présentateur
Construire cela en pile au tableau, les poids en bas. Laisser la pile visible pour le reste de la séance.
10/18
Atelier A — estimer, puis mesurer
Remplir le tableau à trois précisions, puis lire la mémoire résidente réellement rapportée par le runtime.
Notes du présentateur
20 minutes en binôme. Circuler et refuser toute réponse qui donne l’estimation sans le chiffre mesuré à côté.
11/18
L’écart est la leçon
L’estimation est un plancher. La mémoire résidente est supérieure, et la différence croît avec le contexte et la concurrence.
Notes du présentateur
Débriefer l’atelier A ici. Demander quel binôme a vu le plus grand écart et lui faire préciser sa longueur de contexte et son nombre de séquences.
12/18
Vérité contre-intuitive n° 1
Un fichier de modèle plus petit ne garantit pas une latence plus faible.
Notes du présentateur
Marquer une pause après cette phrase. Elle contredit l’intuition que presque tout le monde apporte : laisser le silence travailler.
13/18
Pourquoi plus petit peut être plus lent
- Support des noyaux pour le format sur le matériel cible
- Coût de déquantification sur le chemin critique
- Forme de la charge : taille de lot, longueur de contexte, concurrence
Notes du présentateur
Ces trois mécanismes suffisent à expliquer presque tous les résultats surprenants que les participants rencontreront à l’atelier B.
14/18
Vérité contre-intuitive n° 2
La quantification des poids ne réduit pas automatiquement le cache KV : la précision du cache et celle des poids sont des choix séparés.
Notes du présentateur
Relier au schéma en pile de la mémoire. Montrer physiquement la couche du cache KV et dire qu’elle n’a pas bougé.
15/18
Atelier B — figer la charge, faire varier la précision
Même machine, mêmes prompts, même longueur de sortie, même concurrence. Seule la précision change.
Notes du présentateur
25 minutes en binôme. Exiger que la référence et le seuil de retour arrière soient écrits avant tout chargement.
16/18
La porte de sortie de quantification
- Comparer à une référence de plus haute précision sur des tâches représentatives
- Consigner qualité, TTFT, latence inter-tokens, débit, mémoire crête
- Consigner matériel, runtime et hash de l’artefact
Notes du présentateur
Cette diapositive est le livrable. Faire recopier son contenu mot à mot avant l’atelier C.
17/18
Mesurer à la charge réelle
Une concurrence de 1 ne dit presque rien d’un service qui tournera à 20 séquences simultanées avec de longs contextes.
Notes du présentateur
Relier à la couche cache KV de la pile : c’est la charge qui transforme un budget confortable en dépassement mémoire.
18/18
Limite honnête
- Formats, noyaux et runtimes évoluent au rythme mensuel
- Tout chiffre précis donné ici est un ordre de grandeur, pas un banc d’essai
- Le protocole survit ; le classement du moment, non
Notes du présentateur
Clore en demandant à chaque participant de nommer une mesure qu’il lancera sur sa propre pile cette semaine. Recueillir deux réponses à voix haute.