La méthode
Montrer le chiffre.
Une démo montre que quelque chose a fonctionné une fois. Une mesure montre à quelle fréquence, dans quelles conditions, et comment vous pourriez le vérifier vous-même. C'est toute la méthode, et le livre repose sur elle.
143 constats mesurés, chapitre par chapitre
Chaque trait du cadran est un constat du livre : un chiffre issu d'un essai. Choisissez un chapitre pour voir combien il en contient.
Comment on a compté : un constat correspond à une ligne du tableau des constats, dans le registre de travail du livre, qu'un chapitre ou une annexe utilise. Chacun est rattaché au premier chapitre qui l'utilise. Les lignes qui ne servent qu'au cours ne sont pas comptées.
Constats par chapitre
| Chapitre | Titre | Constats |
|---|---|---|
| 1 | Why AI Development Feels Different | 4 |
| 2 | Picking Your Stack Without Getting Paralyzed | 6 |
| 3 | Structured Output: Getting Data Back, Not Text | 10 |
| 4 | Your First Agent: A Loop, a Tool, and a Stop Condition | 20 |
| 5 | RAG: When to Retrieve, and How to Tell It Failed | 20 |
| 6 | Vector Storage: An Index That Outlives the Process | 13 |
| 7 | Conversation State: What to Keep and What to Drop | 5 |
| 8 | Multi-Agent Systems: When to Split, and When Not To | 10 |
| 9 | MCP: Using Tools You Did Not Write | 8 |
| 10 | Evaluation: Catching Regressions in a System That Won't Repeat | 7 |
| 11 | Security: Bounding What the Model Can Do | 7 |
| 12 | Observability: Tracing What Actually Happened | 7 |
| 13 | Cost: What It Spends, and How to Spend Less | 9 |
| 14 | Streaming, Async, and Jobs: Handling the Wait | 15 |
| 15 | Your Own System: The First Three Moves | 0 |
| Annexe C | 2 | |
| Total | 143 | |
Ce qu'une affirmation mesurée contient
Le même sujet, dit de deux façons. La première est celle d'une démo. La seconde est un constat du chapitre 1 du livre, avec les quatre éléments que chaque constat y contient.
Une affirmation de démo
Le modèle donne une bonne réponse à la question du client.
À quelle fréquence ? Par rapport à quoi ? Pourriez-vous le refaire ?
Une illustration de la formulation habituelle des démos, pas une citation.
Une affirmation mesurée
10 réponses distinctes sur 20
- Ce qui s'est passé
- 10 réponses distinctes en 20 appels. La plus fréquente est revenue 8 fois.
- Pourquoi cet écart
- Un modèle choisit ses mots par échantillonnage : par défaut, la même requête ne donne pas deux fois le même texte. Les 20 réponses disaient la même chose, seule la formulation a bougé.
- Comment c'est mesuré
- 20 appels avec une seule requête à claude-opus-4-6. Les réponses identiques ont été regroupées, puis les groupes comptés.
- Dans le livre
- Le chapitre 1 du livre refait les 20 appels avec un deuxième réglage d'échantillonnage et recompte.
- Fichier d'essai:
- runs/ch1-sampling-2026-09-07.txt
- Script:
- scripts/ch1_sampling.py
Faites la preuve vous-même
La règle du livre : chaque chiffre publié doit pouvoir être retracé jusqu'à une ligne d'un essai consigné. Au lancement du livre, les fichiers d'essai seront publics dans un dépôt compagnon : un lecteur pourra suivre ce chemin plutôt que de croire l'auteur sur parole.
À propos du livreS'inscrire à la liste d'attenteLancement bientôt