# Quiz — Session 9 : Construire des produits IA **Programme :** Applied AI — Niveau intermédiaire · **Formateur :** Yann Isola **10 questions à choix multiples — une seule bonne réponse par question** **Durée conseillée : 15 minutes · Correction en ouverture de session 10** --- ### Question 1 — Pensée produit Quelle est la **première question** à se poser quand on envisage une fonctionnalité IA ? - A. Quel modèle est le plus performant sur les benchmarks récents ? - B. Quel problème utilisateur cette fonctionnalité résout-elle ? - C. Faut-il utiliser du RAG (Retrieval-Augmented Generation, génération augmentée par récupération) ou du fine-tuning ? - D. Quel est le coût par appel API (Application Programming Interface, interface de programmation) ?
Réponse **B.** La pensée produit part du problème, jamais de la technologie. Les questions A, C et D sont légitimes, mais elles viennent après — sinon on construit une solution en quête de problème.
--- ### Question 2 — UX de l'incertitude Un outil d'OCR (Optical Character Recognition, reconnaissance optique de caractères) extrait les montants de factures. La **meilleure** pratique UX (User Experience, expérience utilisateur) est : - A. N'afficher que les montants dont l'IA est certaine, masquer les autres - B. Afficher tous les montants de la même façon pour ne pas inquiéter l'utilisateur - C. Surligner les montants à faible confiance pour inviter à une relecture ciblée - D. Bloquer le document entier dès qu'un champ est incertain
Réponse **C.** Un bon produit IA rend l'incertitude **visible et actionnable** : l'utilisateur concentre sa relecture là où c'est utile. A cache de l'information, B trompe l'utilisateur, D détruit la valeur du produit (dégradation brutale au lieu de gracieuse).
--- ### Question 3 — Human in the loop Sur le spectre « human in the loop » (humain dans la boucle), le niveau **« approbation humaine »** signifie : - A. L'IA agit seule et l'humain peut annuler après coup - B. L'IA propose, mais rien n'est exécuté sans validation humaine préalable - C. L'humain fait tout, l'IA observe - D. L'IA et l'humain travaillent en parallèle sur des tâches différentes
Réponse **B.** Approbation = validation **avant** exécution. La réponse A décrit le niveau « override » (contrôle a posteriori). Plus le coût d'une erreur est élevé, plus on se déplace vers l'approbation préalable, voire le manuel.
--- ### Question 4 — Triangle de la valeur Parmi ces tâches, laquelle réunit **le mieux** les trois conditions de valeur de l'IA (volume élevé, tolérance à l'imperfection, boucle de rétroaction claire) ? - A. Le calcul mensuel de la paie des salariés - B. La rédaction du rapport annuel destiné aux actionnaires - C. Le tri quotidien de milliers de tickets de support client par catégorie - D. La signature d'un contrat de fusion-acquisition
Réponse **C.** Volume énorme ✅, une erreur de catégorie se corrige facilement ✅, le reclassement par les agents fournit un signal d'amélioration ✅. A échoue sur la tolérance (zéro erreur admissible en paie), B sur le volume (1 fois/an), D sur les deux.
--- ### Question 5 — Métriques produit IA Le **taux d'escalade** d'un assistant IA mesure : - A. Le pourcentage de réponses générées en moins d'une seconde - B. La proportion de cas où un humain doit reprendre la main - C. Le nombre d'utilisateurs actifs mensuels - D. Le coût moyen par requête
Réponse **B.** L'escalade, c'est le transfert vers l'humain. C'est une métrique centrale : un taux d'escalade qui monte signale une dégradation de la qualité perçue ou réelle du produit — souvent avant que les autres métriques ne bougent.
--- ### Question 6 — Tests A/B Vous testez deux variantes de prompt sur votre assistant. La variante A obtient 72 % de complétion de tâche, la variante B 81 %. La démarche **correcte** est : - A. Déployer B immédiatement pour 100 % des utilisateurs - B. Vérifier la significativité statistique et le volume, puis déployer B progressivement via un feature flag (interrupteur logiciel d'activation) - C. Garder A, car changer un prompt en production est risqué - D. Fusionner les deux prompts pour obtenir le meilleur des deux
Réponse **B.** Un écart peut être dû au hasard si l'échantillon est petit ; et même validé, un déploiement progressif (feature flag) limite le risque. A brûle les étapes, C est de l'immobilisme, D n'a aucune base méthodologique.
--- ### Question 7 — Coût-bénéfice Une tâche manuelle coûte 40 000 €/mois. La version assistée par IA coûte 15 000 €/mois (API + infrastructure + supervision humaine). Le projet d'intégration a coûté 50 000 €. Le **point d'équilibre (breakeven)** est atteint en : - A. 1 mois - B. 2 mois - C. 3,3 mois environ - D. 50 mois
Réponse **B.** Économie mensuelle = 40 000 − 15 000 = 25 000 €. Breakeven = 50 000 / 25 000 = **2 mois**. Réflexe à retenir : toujours raisonner sur l'économie **nette** (incluant le coût humain résiduel de supervision et d'escalade), pas sur le seul coût API.
--- ### Question 8 — Construire la confiance Pour qu'un utilisateur fasse confiance à un assistant de recherche documentaire, la pratique **la plus efficace** est : - A. Expliquer l'architecture du modèle (transformers, attention) dans l'aide en ligne - B. Afficher les sources citées et permettre de signaler une réponse incorrecte - C. Affirmer les réponses avec assurance pour paraître fiable - D. Masquer les cas où l'IA n'a pas trouvé de réponse
Réponse **B.** La confiance se construit en expliquant **ce que l'IA a fait** (quelles sources, quel traitement), pas comment elle fonctionne en interne (A). L'assurance sans preuve (C) et la dissimulation (D) détruisent la confiance à la première erreur découverte.
--- ### Question 9 — Build / Buy / Fine-tune Une entreprise veut classer automatiquement ses courriels entrants en 6 catégories métier. Volume : 2 000/jour. Aucune contrainte de souveraineté particulière. Le choix **par défaut** recommandé est : - A. Construire un modèle from scratch (depuis zéro) pour maîtriser toute la chaîne - B. Affiner (fine-tuner) immédiatement un modèle open source - C. Utiliser une API sur étagère avec un bon prompt, et n'envisager le fine-tuning que si la précision plafonne - D. Recruter une équipe de recherche en apprentissage automatique
Réponse **C.** « Buy » (API sur étagère) est le défaut raisonnable pour ~80 % des cas : mise en œuvre rapide, maintenance minimale, coût prévisible. Le fine-tuning se justifie **plus tard**, sur preuve : précision insuffisante malgré un bon prompting, volume qui rend l'économie favorable, données d'entraînement disponibles. A et D sont disproportionnés.
--- ### Question 10 — IA responsable Un outil de pré-tri de candidatures rejette automatiquement les CV (Curriculum Vitae) sous un certain score, sans revue humaine. Le problème **le plus grave** est : - A. Le coût des appels API est trop élevé - B. Une décision à fort impact sur des personnes est prise sans humain dans la boucle, avec un risque de biais non contrôlé - C. Le temps de réponse du système est trop long - D. L'interface n'utilise pas les couleurs de la charte graphique
Réponse **B.** Le recrutement est un cas d'usage à haut risque (explicitement visé par l'AI Act européen ⚠) : coût d'erreur élevé pour les personnes, biais potentiels (prénom, adresse…), obligation de transparence et de recours. Le curseur human in the loop doit être au minimum sur « approbation humaine » pour les rejets. A, C et D sont des détails à côté.
--- ## 📊 Barème | Score | Interprétation | |---|---| | 9–10 | Excellente maîtrise — prêt·e pour la mise en pratique sur un vrai projet | | 7–8 | Solide — revoir les points manqués avant la session 10 | | 5–6 | Fragile — relire les slides 14–25 (valeur, métriques, coût-bénéfice, décision) | | < 5 | Revoir la session complète + refaire les exercices 1 et 2 avec la page interactive |