CPU, GPU et quantification — Quiz et corrigé

10 questions, une seule bonne réponse par question. L’objectif est de vérifier que vous savez dimensionner la mémoire honnêtement, séparer le prefill du décodage, et refuser une version quantifiée qui n’a pas été mesurée.

1. Qu’est-ce qui détermine si une charge convient à un CPU ou à un GPU ?

A) Le nombre de paramètres seul
B) La forme de la charge : parallélisme disponible, densité arithmétique, besoin en bande passante mémoire
C) Le langage de programmation du runtime
D) La taille du fichier de modèle sur le disque

Afficher la réponse

B — Les CPU conviennent au flot de contrôle général, au prétraitement et aux charges modestes. Les GPU conviennent aux opérations tensorielles denses à fort parallélisme et forte demande de bande passante. Le nombre de paramètres et la taille de fichier sont des conséquences, pas la propriété déterminante.

2. Pourquoi le décodage autorégressif est-il plus difficile à paralléliser que le prefill ?

A) Le décodage utilise un autre modèle
B) Chaque token généré dépend du précédent, donc les positions sont produites séquentiellement
C) Le décodage s’exécute sur CPU par définition
D) Le prefill est quantifié et pas le décodage

Afficher la réponse

B — Le prefill traite toutes les positions du prompt d’un coup et est hautement parallèle. Le décodage émet une position de token à la fois, chacune conditionnée par la sortie précédente : la séquence ne peut pas être déroulée à l’avance.

3. Un modèle de 7 milliards de paramètres est stocké en 16 bits par poids. Quelle est la première estimation de mémoire des poids ?

A) Environ 3,5 Go
B) Environ 7 Go
C) Environ 14 Go
D) Environ 28 Go

Afficher la réponse

C — 7 × 10⁹ × 16 ÷ 8 = 1,4 × 10¹⁰ octets, soit environ 14 Go. La formule est paramètres × bits par poids ÷ 8, et 16 bits font 2 octets par poids.

4. Le même modèle 7B est quantifié en 4 bits. Que devient l’estimation ?

A) Environ 1,75 Go
B) Environ 3,5 Go
C) Environ 7 Go
D) Elle ne change pas, la quantification n’agissant que sur la vitesse

Afficher la réponse

B — 7 × 10⁹ × 4 ÷ 8 = 3,5 × 10⁹ octets, soit environ 3,5 Go. Diviser par deux les bits par poids divise par deux cette estimation, mais cela ne dit rien de la mémoire résidente totale.

5. Lequel de ces postes n’est PAS couvert par l’estimation paramètres × bits ÷ 8 ?

A) Les octets occupés par les tenseurs de poids
B) Le cache KV du contexte actif
C) Le nombre de bits par poids retenu
D) Le nombre de paramètres

Afficher la réponse

B — L’estimation ne couvre que le stockage des poids. Le cache KV, les activations, la surcharge de l’allocateur, les tampons d’exécution, les métadonnées et les couches non quantifiées se situent tous en dehors.

6. Un fichier de modèle plus petit garantit-il une latence plus faible ?

A) Oui, moins de données signifie toujours une inférence plus rapide
B) Non : support des noyaux, coût de déquantification, charge et matériel peuvent rendre un artefact plus petit plus lent
C) Oui, à condition que le modèle tienne en mémoire
D) Seulement lors d’une exécution sur CPU

Afficher la réponse

B — Un format quantifié exige des noyaux qui le traitent efficacement sur le matériel cible. Si le runtime déquantifie à la volée ou retombe sur un chemin générique, l’artefact plus petit peut être plus lent que le plus gros.

7. Vous avez quantifié les poids de 16 bits à 4 bits. Qu’est-il arrivé au cache KV ?

A) Il a diminué dans le même rapport
B) Il a diminué de moitié
C) Rien automatiquement : la précision du cache est un choix distinct
D) Il a été entièrement supprimé

Afficher la réponse

C — La précision des poids et celle du cache KV sont des réglages indépendants. Abaisser l’une n’abaisse pas l’autre, et à long contexte ou forte concurrence le cache peut dominer le budget.

8. Que faut-il consigner pour une porte de sortie de quantification ?

A) Seulement la taille du fichier avant et après
B) Seulement le score de qualité sur un unique jeu de test
C) Qualité, temps jusqu’au premier token, latence inter-tokens, débit, mémoire crête, matériel, runtime et hash de l’artefact
D) Seulement la mémoire crête sur une exécution unique

Afficher la réponse

C — La porte compare un candidat quantifié à une référence de plus haute précision sur des tâches représentatives, et elle n’est reproductible que si le matériel, le runtime et l’identité de l’artefact sont consignés à côté des chiffres de performance et de qualité.

9. Vous comparez une version CPU et une version GPU, mais chacune a utilisé un jeu de prompts différent. Quel est le statut du résultat ?

A) Valide, puisque les deux exécutent le même modèle
B) Valide si les deux jeux de prompts ont la même longueur
C) Ce n’est pas une preuve : la charge n’a pas été maintenue constante
D) Valide pour le débit seulement, pas pour la latence

Afficher la réponse

C — La charge, les prompts, le runtime et la grille de qualité doivent rester constants pendant que le matériel ou la précision varie. Sinon l’écart ne peut pas être attribué à la variable testée.

10. Quelle phase est typiquement la plus limitée par la bande passante mémoire à une taille de lot de 1 ?

A) Le prefill
B) Le décodage
C) Les deux également
D) Aucune : les deux sont limitées par le calcul

Afficher la réponse

B — À une taille de lot de 1, le décodage lit l’ensemble des poids pour produire un seul token : il est donc généralement limité par la bande passante mémoire. Le prefill amortit cette lecture sur de nombreuses positions et tend à être limité par le calcul.

Barème

8 à 10 bonnes réponses : vous savez dimensionner un déploiement et défendre une décision de quantification par des mesures. 5 à 7 bonnes réponses : le calcul est acquis mais les exclusions et la porte de sortie ne sont pas encore des réflexes ; relisez la pile du budget mémoire et la liste de contrôle de la porte. Moins de 5 : reconstruisez les bases avant tout déploiement, en commençant par prefill contre décodage et par le fait que l’estimation des poids est un plancher, pas un budget.

Cours apprenant · Aller aux exercices