Guide du formateur — Niveau Avancé, Session 10

« Examen blanc & projet final »

Programme : Applied AI — Yann Isola Public : Architectes solutions préparant la certification Claude Certified Architect Durée : 2 h 00 (structure serrée : 45 min examen blanc + 45 min soutenances + 30 min rétrospective) Prérequis : Sessions 1 à 9 du niveau avancé — cette session est le capstone (capstone = projet de synthèse final) : aucune notion nouvelle, uniquement de la validation et de la consolidation. Matériel : page web interactive (webpage/index.html — simulateur d’examen complet 30 questions/45 min, tableau de bord de préparation avec radar des 5 domaines, carte du parcours des 10 sessions), quiz/quiz.md (version papier de l’examen blanc avec corrections commentées), exercises/exercises.md (grille /100 du projet final + 3 défis d’échauffement), chronomètre visible, projecteur, une grille d’évaluation imprimée par soutenance.

Positionnement de la session

C’est la dernière séance du parcours avancé et elle a trois fonctions distinctes qu’il ne faut pas laisser se mélanger :

Certifier la préparation — l’examen blanc en conditions réelles donne à chacun une mesure honnête : prêt, presque prêt, ou pas prêt. Le rôle du formateur est de rendre cette mesure exploitable (diagnostic par domaine, plan de révision), pas de rassurer.
Faire aboutir le projet final — chaque participant a conçu au fil du parcours l’architecture complète d’un système IA réel. Aujourd’hui il la défend devant le groupe. C’est l’exercice le plus proche du métier réel : convaincre des pairs qu’une architecture tient debout.
Fermer la boucle — la rétrospective relie les 10 sessions en un système cohérent et trace la suite : réservation d’examen, veille, pratique continue.

⚠ Convention : tous les chiffres marqués ⚠ (format d’examen : 60 questions, 90 minutes, seuil 720/1000 ≈ 72 % ; pondérations : 27/18/20/20/15 % ; tarifs, durées de cache, drapeaux CLI) sont volatils. Dernier réflexe à installer avant de se quitter : on vérifie la source officielle avant de réserver, avant de chiffrer, avant d’affirmer.

Plan minuté

Bloc	Durée	Contenu
0. Ouverture & consignes d’examen	5 min	Règles de l’examen blanc, rappel de la méthode de gestion du temps
1. EXAMEN BLANC	45 min	30 questions chronométrées, conditions réelles, via le simulateur web (ou papier)
2. Correction éclair & diagnostic	10 min	Score par domaine, lecture du radar, identification des zones rouges
3. SOUTENANCES DU PROJET FINAL	45 min	5 à 7 soutenances de 6 min (4 min présentation + 2 min questions), évaluation croisée
4. Rétrospective du parcours	12 min	Carte des 10 sessions, les 10 réflexes d’architecte, ce qui change en production
5. Auto-évaluation de préparation & plan	8 min	Tableau de bord de préparation, décision individuelle : réserver ou réviser
6. Clôture	5 min	Logistique de certification, ressources de veille, mot de fin

Arbitrage de temps : si le groupe dépasse 7 participants, réduire les soutenances à 5 min (3 + 2) et annoncer la contrainte dès l’ouverture. Ne jamais rogner sur les 45 min d’examen : la valeur diagnostique exige les conditions réelles.

Bloc 0 — Ouverture & consignes d’examen (5 min)

Message d’accroche : « Dix sessions. Aujourd’hui, on ne rajoute rien — on vérifie que tout tient. D’abord seul face à 30 questions, comme le jour J. Ensuite debout, à défendre votre architecture devant vos pairs. À la fin de la séance, chacun sait s’il réserve son examen ou ce qu’il révise d’abord. »

Consignes d’examen blanc (projeter)

30 questions, 45 minutes — même rythme que l’examen réel : 90 s/question en moyenne ⚠.
Aucune documentation, aucune IA — le jour J vous serez seuls.
Répondre à tout — aucune pénalité pour erreur ⚠ : une case vide est un point offert au hasard qu’on refuse.
Méthode des deux passages : premier passage rapide (répondre à tout ce qui est sûr, marquer les douteuses), second passage sur les marquées. Le simulateur web a un bouton « marquer pour révision » qui reproduit ce mécanisme.
Grille de lecture des QCM (rappel de la session 9) : identifier la cause racine du problème décrit → chercher la réponse de moindre effort qui la traite → vérifier si l’énoncé exige une garantie (mécanisme programmatique) ou accepte une consigne (instruction au modèle). Trois distracteurs sur quatre tombent à cette grille.

Logistique : chaque participant ouvre webpage/index.html, onglet « Examen blanc », et lance le chronomètre en même temps que tous. À défaut de machines, distribuer le quiz papier (sans la section corrections !) et chronométrer au tableau.

Bloc 1 — Examen blanc (45 min)

Le formateur ne circule pas et ne répond à aucune question de fond — conditions réelles. Trois interventions autorisées uniquement :

Annonce du temps restant à 20 min, 10 min, 2 min.
Panne technique (basculer le participant sur la version papier).
Rappel de la consigne « répondez à tout » à 2 min de la fin.

Pendant l’examen, le formateur prépare le bloc 3 : ordre de passage des soutenances (tirage ou volontariat noté au tableau), grilles d’évaluation distribuées face cachée.

Répartition des questions (pour information du formateur)

Domaine	Poids examen ⚠	Questions	Sessions du parcours couvertes
D1 Architecture & orchestration	27 %	Q1–Q8	S3 (Agent SDK), S4 (multi-agents)
D2 Outils & MCP	18 %	Q9–Q13	S2 (tool use), S5 (MCP)
D3 Claude Code	20 %	Q14–Q19	S6 (Claude Code & CI/CD)
D4 Prompt engineering & sortie structurée	20 %	Q20–Q25	S1 (API), S7 (prompt engineering)
D5 Contexte & fiabilité	15 %	Q26–Q30	S8 (contexte, fiabilité, provenance)

Bloc 2 — Correction éclair & diagnostic (10 min)

Le simulateur corrige automatiquement et affiche : score global, score par domaine, et un radar à 5 axes. En papier : auto-correction avec la grille rapide de quiz.md (2 min), calcul par domaine à la main.

Ne PAS corriger les 30 questions une à une — il n’y a pas le temps et le mode révision du simulateur (explication détaillée par question) est fait pour le travail individuel post-séance.

À la place, corriger 3 questions choisies stratégiquement :

La plus échouée du groupe (le simulateur ne remonte pas les stats de groupe : demander à main levée sur 4–5 questions que vous soupçonnez — typiquement Q20 prefill, Q27 cache, Q8 workflow/agent).
Une question « consigne vs garantie » (Q18 ou Q28) — c’est LA distinction que l’examen teste sous dix déguisements.
Une question « moindre effort » (Q9 ou Q4) — le distracteur « passer à un modèle plus puissant » ou « déployer un agent complet » piège ceux qui n’ont pas le réflexe d’économie architecturale.

Lecture du score (projeter le barème d’interprétation de quiz.md) :

27–30 → réserver l’examen, réviser seulement les domaines < 80 %.
22–26 → au seuil, marge insuffisante : une semaine ciblée + second blanc.
17–21 → reprendre les sessions des domaines < 60 %, refaire les exercices pratiques.
< 17 → ne pas réserver ; reprise structurée, pratique API réelle avant tout.

Point d’insistance : un domaine < 60 % est une zone rouge même avec un bon score global. L’examen pondère : D1 à 27 % effondré n’est pas rattrapable par D5 à 15 % parfait.

Bloc 3 — Soutenances du projet final (45 min)

Le format

Chaque participant présente l’architecture complète d’un système IA réel conçue au fil du parcours (consigne donnée en session 4, jalonnée depuis). Format strict :

4 min de présentation — problème métier, architecture (schéma obligatoire), justification des choix, stratégie de fiabilité, coûts.
2 min de questions — le groupe + le formateur. Une question difficile minimum par soutenance (le formateur la pose si le groupe est tendre).
Chronomètre visible et impitoyable — savoir tenir 4 minutes est une compétence d’architecte.

La grille d’évaluation (/100 — détail complet dans `exercises/exercises.md`)

Critère	Points
1. Problème & cadrage métier	15
2. Architecture & justification des choix	30
3. Conception des outils & intégrations	15
4. Fiabilité, sécurité & supervision humaine	20
5. Coûts, évaluation & exploitation	10
6. Clarté de la soutenance	10

Évaluation croisée : chaque participant note deux pairs sur la grille (assignés par le formateur pour couvrir tout le monde), le formateur note tout le monde. La note indicative = moyenne. L’objectif n’est pas la note : c’est d’obliger chacun à écouter en évaluateur, c’est-à-dire en architecte qui challenge.

Les questions qui départagent (banque du formateur)

Poser au moins une question de ce calibre par soutenance :

« Ton orchestrateur tombe en panne à 3 h du matin. Qu’est-ce que l’utilisateur voit, et qu’est-ce que ton système fait tout seul ? »
« Pourquoi un agent ici, et pas un workflow à étapes fixes ? Qu’est-ce qui est imprévisible dans le chemin ? »
« Montre-moi le point exact où un humain approuve. Pourquoi là et pas ailleurs ? »
« Ce prompt système fait 2 000 tokens et part à chaque requête. Combien ça coûte par mois à ton volume ? As-tu prévu le cache de prompt ? »
« Comment sauras-tu que la qualité a baissé avant que les utilisateurs se plaignent ? »
« Quelle est la pire chose qu’un utilisateur malveillant peut faire dire ou faire à ton système ? »
« Si Anthropic change le comportement de [fonctionnalité volatile utilisée], comment ton système le détecte-t-il ? »

Ce qu’on veut entendre : des réponses qui distinguent consigne/garantie, qui chiffrent, qui admettent les limites (« ce cas n’est pas couvert, voici pourquoi c’est acceptable »). Drapeau rouge : « le modèle est intelligent, il gérera » — sanctionner systématiquement cette réponse dans la grille (critère 4).

Gestion des groupes

≤ 5 participants : format confortable 6 min + discussion collective de 2 min supplémentaires par projet.
6–7 : format nominal.
> 7 : 5 min par soutenance (3 + 2) OU sessions en binômes évaluateurs parallèles avec restitution des 2 meilleures architectures en plénière. Annoncer le format dès le bloc 0.

Bloc 4 — Rétrospective du parcours (12 min)

Utiliser l’onglet « Parcours » de la page web : carte interactive des 10 sessions avec leurs concepts clés et leurs connexions.

Le fil de la rétrospective (dérouler à l’oral, appuyé sur la carte)

Session	Ce qu’on a construit	Le réflexe qui reste
S1 — Claude API en profondeur	Appels bruts, paramètres, streaming, vision	L’API est sans état ; tout ce que le modèle « sait », c’est vous qui l’avez mis dans le contexte.
S2 — Tool use avancé	Schémas, orchestration d’appels, erreurs d’outils	La description d’outil est un prompt. L’erreur d’outil est une donnée de raisonnement.
S3 — Agent SDK	Boucles agentiques, sessions, état	Workflow si le chemin est connu, agent s’il dépend des découvertes.
S4 — Architecture multi-agents	Orchestrateur, sous-agents, consensus, routage	On découpe pour isoler les contextes, pas pour faire joli sur un schéma.
S5 — MCP en profondeur	Serveurs, outils/ressources/prompts, transports	MCP standardise la connexion ; la qualité des descriptions reste votre travail.
S6 — Claude Code & CI/CD	CLAUDE.md, commandes slash, headless, permissions	CLAUDE.md est une consigne ; settings.json est une garantie.
S7 — Prompt engineering avancé	CoT, few-shot, prefill, chaînes, évals	Un prompt est un composant logiciel : versionné, testé, mesuré.
S8 — Contexte, fiabilité & provenance	Compaction, cache, hallucinations, traçabilité	Le contexte est une ressource gérée. La confiance se journalise.
S9 — Scénarios de certification	Grille de lecture, 8 scénarios, plan de révision	Penser comme l’auteur de la question : cause racine, moindre effort, garantie.
S10 — Capstone	Examen blanc, projet défendu	Une architecture qu’on ne peut pas défendre en 4 minutes n’est pas comprise.

Les 3 méta-leçons (à faire formuler par le groupe avant de les projeter)

Demander : « Si vous ne deviez retenir que trois principes transverses de tout le parcours ? » Laisser 2 min d’échange, puis projeter :

Consigne ≠ garantie. Un prompt demande ; le code impose. Tout ce qui est critique (permissions, validation de schéma, approbation humaine, vérification de citations) doit être appliqué par du programme.
Le moindre effort architectural. Un appel avant une chaîne ; une chaîne avant un agent ; un agent avant du multi-agents. Chaque étage se paie en coût, latence et débogage — on n’y monte que si l’étage du dessous a prouvé son insuffisance.
Mesurer avant de croire. Évals automatisées, golden sets, scores par domaine, logs de provenance : l’intuition initie, la mesure décide. Ça vaut pour les prompts comme pour votre propre préparation à l’examen.

Bloc 5 — Auto-évaluation de préparation & plan individuel (8 min)

Chacun ouvre l’onglet « Préparation » de la page web : auto-évaluation sur les 5 domaines (5 affirmations par domaine, échelle « je sais le faire / à consolider / à reprendre »), croisée avec le score de l’examen blanc → radar de préparation + recommandation.

Consigne : remplir honnêtement, seul, en 5 min. La page génère un plan de révision priorisé par pondération d’examen (un domaine faible à 27 % passe avant un domaine faible à 15 %).

Décision individuelle à formuler par écrit avant de partir (une ligne) :

« Je réserve l’examen pour la semaine du ___ » ou
« Je révise [domaines] pendant ___ semaines, second examen blanc le ___, puis je réserve. »

Le formateur relève ces engagements — c’est la seule « évaluation » du bloc, et elle conditionne le suivi post-formation.

Bloc 6 — Clôture (5 min)

Logistique de certification (projeter, tout est volatil ⚠)

Vérifier sur la page officielle Anthropic : format courant, prix, langues disponibles, modalités (en ligne surveillé / centre), politique de repassage.
Réserver un créneau matinal si possible ; prévoir 15 min de marge technique pour la surveillance en ligne.
La veille : relire uniquement ses fiches de réflexes (pas de nouveau contenu), refaire 10 questions du simulateur pour se remettre en rythme.

Continuer après le parcours

Pratique > lecture — un projet personnel avec de vrais appels API par semaine maintient le niveau ; la lecture seule le fait décroître.
Veille structurée — changelog de l’API Anthropic, notes de version de Claude Code, spécification MCP : trois sources, une revue mensuelle. Tout ce qui porte ⚠ dans vos notes provient de là.
La communauté — partager ses architectures et les faire challenger : la soutenance d’aujourd’hui était un entraînement à un exercice permanent du métier.

Mot de fin (suggestion)

« Vous êtes entrés dans ce parcours en sachant utiliser un modèle. Vous en sortez en sachant concevoir des systèmes : découpés, outillés, mesurés, gouvernés. La certification validera ce que vous savez — mais ce que vous avez défendu aujourd’hui devant le groupe, personne n’a besoin de le certifier : c’était déjà du travail d’architecte. Allez réserver cet examen. »

Annexes formateur

A. Barème de correspondance examen blanc → examen réel

Le blanc fait 30 questions là où l’examen en fait 60 ⚠ : la variance est plus élevée. Règle prudente : considérer l’intervalle score ± 2 questions avant de conclure. Un 23/30 est « 21 à 25 », donc à cheval sur le seuil → recommander la semaine de consolidation.

B. Pièges de dernière minute à rappeler si le temps le permet

Les questions « TOUS les choix semblent vrais » → relire la question : elle demande souvent le premier geste, le plus efficace, ou le levier principal — un superlatif change la réponse.
Le distracteur « température 0 supprime les hallucinations » (faux : reproductible ≠ vrai).
Le distracteur « --dangerously-skip-permissions en CI » (jamais la bonne réponse dans un contexte automatisé non contrôlé).
Le distracteur « le prompt système garantit » (consigne ≠ garantie, toujours).
Les chiffres exacts (durées de cache, tarifs, limites) : l’examen teste les ordres de grandeur et les mécanismes, pas la gazette tarifaire — mais vérifier la documentation la semaine de l’examen ⚠.

C. Si un participant échoue lourdement au blanc (< 15/30)

Prendre 3 min en aparté après la séance. Diagnostic type : (a) manque de pratique API réelle → prescrire les exercices pratiques des sessions 1–3 avec de vrais appels ; (b) lecture trop rapide des énoncés → prescrire la méthode des deux passages avec 2 min/question en entraînement ; © confusion des domaines D1/D2 → refaire la session 4 puis la 5, dans cet ordre. Ne jamais laisser partir quelqu’un sans plan concret.