Measured

L'IA, testée et prouvée.

Trois questions. Devinez un chiffre, puis regardez-le se faire mesurer.

Question 1 de 3Tirée du chapitre 1 du livre

Une même requête, envoyée 20 fois au même modèle d'IA avec ses réglages par défaut. Combien de réponses distinctes sont revenues ?

Les trois mesures

Chaque chiffre ci-dessous provient d'un essai conservé dans le dépôt du livre.

  1. Question 1 de 3Tirée du chapitre 1 du livre

    Une même requête, envoyée 20 fois au même modèle d'IA avec ses réglages par défaut. Combien de réponses distinctes sont revenues ?

    Mesuré : 10 réponses distinctes sur 20.

    Une échelle de 1 à 20. La valeur mesurée, indiquée par un trait doré, est de 10 réponses distinctes sur 20.

    Ce qui s'est passé
    10 réponses distinctes en 20 appels. La plus fréquente est revenue 8 fois.
    Pourquoi cet écart
    Un modèle choisit ses mots par échantillonnage : par défaut, la même requête ne donne pas deux fois le même texte. Les 20 réponses disaient la même chose, seule la formulation a bougé.
    Comment c'est mesuré
    20 appels avec une seule requête à claude-opus-4-6. Les réponses identiques ont été regroupées, puis les groupes comptés.
    Dans le livre
    Le chapitre 1 du livre refait les 20 appels avec un deuxième réglage d'échantillonnage et recompte.
    Fichier d'essai:
    runs/ch1-sampling-2026-09-07.txt
    Script:
    scripts/ch1_sampling.py
  2. Question 2 de 3Tirée du chapitre 8 du livre

    Un assistant d'IA muni de trois outils reçoit une courte question. Le mode d'emploi de ses outils voyage avec la question. Quelle part de ce premier message était du mode d'emploi ?

    Mesuré : 98,0 % du premier message.

    Une échelle de 0 à 100. La valeur mesurée, indiquée par un trait doré, est de 98,0 % du premier message.

    Ce qui s'est passé
    Le premier message comptait 748 jetons (un jeton est un morceau de mot). De ce nombre, 733 étaient le mode d'emploi des outils. La question elle-même en comptait 8.
    Pourquoi cet écart
    Le mode d'emploi de chaque outil est envoyé au complet avec chaque message, que l'outil serve ou non. Une question courte ne le raccourcit pas.
    Comment c'est mesuré
    Compté avec le compteur de jetons du fournisseur du modèle sur claude-opus-4-6, en comparant le message avec et sans chaque partie.
    Dans le livre
    Le chapitre 8 du livre mesure ce que devient ce coût quand on divise un assistant en plusieurs.
    Fichier d'essai:
    runs/ch5-context-composition.txt
    Script:
    scripts/ch5_context_composition.py
  3. Question 3 de 3Tirée du chapitre 14 du livre

    Un assistant d'IA traite 12 conversations, l'une après l'autre. Puis il traite les mêmes 12 en en menant 8 à la fois. Combien de fois plus vite a-t-il terminé ?

    Mesuré : 5,75 fois plus vite.

    Une échelle de 1 à 12. La valeur mesurée, indiquée par un trait doré, est de 5,75 fois plus vite.

    Ce qui s'est passé
    L'une après l'autre, les 12 conversations ont pris 123,4 secondes. Avec 8 à la fois, elles ont pris 21,5 secondes : 5,75 fois plus vite, et non 8.
    Pourquoi cet écart
    Avec 12 conversations dont 8 à la fois, il faut deux tours, et le deuxième n'est qu'à moitié plein. Chaque conversation a aussi duré à peu près aussi longtemps qu'avant : les attentes se chevauchent, elles ne raccourcissent pas.
    Comment c'est mesuré
    Les mêmes 12 conversations ont été lancées sur claude-opus-4-6 avec 1, 2, 4 puis 8 à la fois, et le temps total à l'horloge a été noté chaque fois.
    Dans le livre
    Le chapitre 14 du livre examine ce que coûte le fait de mener des conversations côte à côte, et quand s'en abstenir.
    Fichier d'essai:
    runs/ch14-async-2026-10-28.txt
    Script:
    scripts/ch14_async_run.py

Ce qu'est Measured

La plupart des contenus sur l'IA montrent une démo. Measured montre le chiffre : ce qui a été testé, ce qui s'est passé, pourquoi, et comment on l'a mesuré.

Le livre

Couverture du livre AI Engineering, Measured
Lancement bientôt

AI Engineering, Measured

par Hassan Mansour

Le livre. Chaque chiffre qu'il contient provient d'un essai. Lancement bientôt.

À propos du livreS'inscrire à la liste d'attente

Une étape mène à la suivante

  1. Gratuit

    Les trois questions de cette page. Des outils gratuits s'ajouteront ici à mesure qu'ils seront construits.

  2. Cours

    L'Académie Measured, avec un test dans chaque module. Aucun cours n'est encore ouvert.

  3. Pour les équipes

    Un atelier pratique de 2 heures ou de 3,5 heures, avec une soumission pour votre équipe après un appel d'exploration gratuit de 20 minutes.

La famille Measured

  • Lancement bientôt

    Académie Measured

    par Hassan Mansour

    Des cours avec un test dans chaque module. Pour les personnes de 18 ans et plus.

  • En ligne

    L'IA au travail, Measured

    Un atelier pratique pour les équipes, de 2 heures ou de 3,5 heures. Le premier pilote n'a pas encore eu lieu.

  • En ligne

    Proofline

    Un pipeline multi-agents à code source ouvert, avec évaluations et approbation humaine, construit en public.

  • En ligne

    Measured Lab

    Contrôler le travail d'une IA selon des règles lisibles, dans votre navigateur : Évaluer, Observer et Sécuriser, avec des liens de résultat que chacun peut relancer. Ouvert maintenant.

  • En ligne

    Indice Measured

    par Hassan Mansour

    Une comparaison de modèles sur les propres jeux d'essai de Hassan : note, coût par passage et vitesse, chaque chiffre relié à son fichier d'essai brut. Le numéro 1 est paru.

Qui mesure

Hassan Mansour

spécialiste principal en IA appliquée

Travaille sur l'IA agentique et le RAG dans une entreprise réglementée.

  • Plus de 6 ans chez Bell Canada à bâtir des systèmes en production, dont environ les 3 derniers en IA
  • Gagnant du Hackathon Bell ; deux fois lauréat du prix Excellence et Innovation de Bell Canada
  • Boursier de recherche du CRSNG et du FRQNT
  • B. Sc. en informatique, Concordia ; candidat à la M. Sc. en communication numérique multilingue, McGill
  • Travaille en français et en anglais ; langue maternelle : l'arabe

Liste d'attente

La liste d'attente ouvre bientôt

Il n'y a pas encore de formulaire ici : cette page ne recueille donc rien à votre sujet.

Choisissez votre porte d'entrée