Measured

Indice MeasuredEn ligne

Indice Measured, numéro 1

Une comparaison de modèles de langage sur les propres jeux d'essai de Hassan : à quelle fréquence chacun donne la bonne réponse, ce que coûte un passage complet et combien de temps prend un appel. Chaque chiffre renvoie à l'essai brut qui l'a produit, et rien n'est affiché avant que cet essai existe.

Résultats, numéro 1

Chaque chiffre ci-dessous renvoie au fichier d'essai brut d'où il vient : runs/index-1-2026-11-20-run2.txt

Égalités de points

  • Claude Sonnet 5.5, Claude Opus 5.5 et Claude Fable 5.2 ont la même note.
  • Claude Haiku 4.5 et Claude Opus 5 ont la même note.

Dans chaque groupe, l'ordre est le départage du banc d'essai, pas un écart de note : à note égale, index_run.py classe les modèles selon le coût par passage, du plus bas au plus élevé, puis selon le temps d'appel médian, du plus court au plus long, et un modèle dont le coût ou le temps n'a pas pu être mesuré passe après les autres.

Résultats de l'Indice Measured : rang, modèle, note, coût par passage, appel médian et échecs. Chaque chiffre renvoie au fichier d'essai brut.
RangModèleNoteCoût par passageAppel médianÉchecs
1Claude Haiku 5.5claude-haiku-5-5La note la plus haute des modèles qui ont terminé leur passage.34sur 350,0033 USD0,65 s0
2Claude Sonnet 5.5claude-sonnet-5-5Moins de points que Claude Haiku 5.5; l'essentiel de l'écart porte sur « Acheminer un billet, sortie typée ». Même note que Claude Opus 5.5 et Claude Fable 5.2, et premier d'entre eux au départage, avec le coût par passage le plus bas.33sur 350,091 USD1,13 s0
3Claude Opus 5.5claude-opus-5-5Même note que Claude Sonnet 5.5; après lui au départage, pour un coût par passage plus élevé.33sur 350,174 USD1,20 s0
4Claude Fable 5.2claude-fable-5-2Même note que Claude Opus 5.5; après lui au départage, pour un coût par passage plus élevé.33sur 350,328 USD1,07 s0
5Claude Haiku 4.5claude-haiku-4-5-20251001Moins de points que Claude Fable 5.2; l'essentiel de l'écart porte sur « Acheminer un billet, en trois appels ». Même note que Claude Opus 5, et premier d'entre eux au départage, avec le coût par passage le plus bas.32sur 350,027 USD0,67 s0
6Claude Opus 5claude-opus-5Même note que Claude Haiku 4.5; après lui au départage, pour un coût par passage plus élevé.32sur 350,391 USD1,33 s0
7Claude Opus 4.6claude-opus-4-6Moins de points que Claude Opus 5; l'essentiel de l'écart porte sur « Acheminer un billet, en trois appels ».28sur 350,135 USD1,63 s0

Côte à côte, essai par essai

Chaque ligne est un essai, chaque colonne un modèle, dans l'ordre du classement. La barre montre la part des éléments de cet essai réussis : une barre courte sur une ligne et longue sur une autre montre d'où viennent les points d'un modèle.

Points par essai pour chaque modèle mesuré, dans l'ordre du classement, avec le coût par passage, l'appel médian et les échecs.
Claude Haiku 5.5Claude Sonnet 5.5Claude Opus 5.5Claude Fable 5.2Claude Haiku 4.5Claude Opus 5Claude Opus 4.6
Acheminer un billet, en un appel10sur 1010sur 1010sur 1010sur 1010sur 1010sur 1010sur 10
Acheminer un billet, en trois appels9sur 109sur 109sur 109sur 108sur 109sur 104sur 10
Acheminer un billet, sortie typée10sur 109sur 109sur 109sur 109sur 109sur 109sur 10
Répondre avec des outils5sur 55sur 55sur 55sur 55sur 54sur 55sur 5
Coût par passage0,0033 USD0,091 USD0,174 USD0,328 USD0,027 USD0,391 USD0,135 USD
Appel médian0,65 s1,13 s1,20 s1,07 s0,67 s1,33 s1,63 s
Échecs0000000

Pourquoi chaque modèle est à ce rang

  1. 1Claude Haiku 5.5 : La note la plus haute des modèles qui ont terminé leur passage.
  2. 2Claude Sonnet 5.5 : Moins de points que Claude Haiku 5.5; l'essentiel de l'écart porte sur « Acheminer un billet, sortie typée ». Même note que Claude Opus 5.5 et Claude Fable 5.2, et premier d'entre eux au départage, avec le coût par passage le plus bas.
  3. 3Claude Opus 5.5 : Même note que Claude Sonnet 5.5; après lui au départage, pour un coût par passage plus élevé.
  4. 4Claude Fable 5.2 : Même note que Claude Opus 5.5; après lui au départage, pour un coût par passage plus élevé.
  5. 5Claude Haiku 4.5 : Moins de points que Claude Fable 5.2; l'essentiel de l'écart porte sur « Acheminer un billet, en trois appels ». Même note que Claude Opus 5, et premier d'entre eux au départage, avec le coût par passage le plus bas.
  6. 6Claude Opus 5 : Même note que Claude Haiku 4.5; après lui au départage, pour un coût par passage plus élevé.
  7. 7Claude Opus 4.6 : Moins de points que Claude Opus 5; l'essentiel de l'écart porte sur « Acheminer un billet, en trois appels ».

Classement par note, de la plus haute à la plus basse. À note égale, l'ordre suit le coût par passage, du plus bas au plus haut, puis l'appel médian. Un modèle dont le passage n'a pas abouti est présenté à part, sans rang.

Les fichiers de l'essai

Le dépôt du livre est privé : les fichiers de l'essai sont donc copiés ici sans modification. Chacun est le fichier du dépôt du livre au commit 46c3ac3; la vérification de publication recalcule l'empreinte de chaque copie avant la construction du site.

  • index-1-2026-11-20-run2.txtChemin dans le dépôt du livre: runs/index-1-2026-11-20-run2.txt · SHA-256: 6b5d7b38bebeba49bc6e45eee4868b7b41be94db073f5a7b0bed19e2b81acebb
  • index-1-2026-11-20-run2.jsonlChemin dans le dépôt du livre: runs/index-1-2026-11-20-run2.jsonl · SHA-256: 518045967028ca33e5bd771674c67ebce9a860f09f91039e5dab8220ad594e8f
  • index-1-2026-11-20-run2-results.jsonChemin dans le dépôt du livre: runs/index-1-2026-11-20-run2-results.json · SHA-256: 52d545f9584ea4412fd8c43954aecface1946603928fb3ad426ab26a34dfcdc4
  • index-1-2026-11-20-run2-env.txtChemin dans le dépôt du livre: runs/index-1-2026-11-20-run2-env.txt · SHA-256: 1bb95c86363eb3d9af9bca9475d69cd948cd9272b38bcb3f607d58a269066d6f

Ce qu'a coûté cet essai au total, d'après ses propres lignes de coût : 1,15 USD.

Essai fait avec scripts/index_run.py au commit 378fee4.

Un essai partiel plus tôt le même jour

Avant cet essai, un premier essai du même banc d'essai sur les mêmes jeux s'est arrêté quand le crédit d'API s'est épuisé. Il est conservé ici sans modification, parce qu'il montre ce qu'un seul essai ne peut pas montrer : de combien une note bouge d'un essai à l'autre. Rien de ce premier essai n'est classé ni chiffré dans les tableaux ci-dessus.

Claude Opus 5, Claude Opus 4.6 et Claude Haiku 4.5 ne l'ont pas terminé.

Claude Fable 5.2, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5 l'ont terminé, chacun avec une note de 33 sur 35.

Claude Haiku 5.5 a obtenu 33 dans ce premier essai et 34 dans celui-ci. Un écart d'un point peut donc relever du hasard : le même modèle a bougé d'un point entre deux essais le même jour.

Claude Sonnet 5.5, Claude Opus 5.5 et Claude Fable 5.2 ont obtenu la même note dans les deux essais.

Ce qu'a coûté l'essai précédent au total, d'après ses propres lignes de coût : 0,817 USD.

Ses fichiers

  • index-1-2026-11-20.txtChemin dans le dépôt du livre: runs/index-1-2026-11-20.txt · SHA-256: 538b0d21a0f856e0edfafa68e5531e54531b35cbedf07a32049610b9adfedede
  • index-1-2026-11-20.jsonlChemin dans le dépôt du livre: runs/index-1-2026-11-20.jsonl · SHA-256: aadf35e34d15d56148f77a8b9f2b05bea6ee4e329c872b45e276693db6d679bf
  • index-1-2026-11-20-results.jsonChemin dans le dépôt du livre: runs/index-1-2026-11-20-results.json · SHA-256: c5ae953756f06200c25a2aa3e00e784daabd64372f2f71c0ebb9b9877909a9cf
  • index-1-2026-11-20-env.txtChemin dans le dépôt du livre: runs/index-1-2026-11-20-env.txt · SHA-256: 4ab1cc3c7b46c7fb1b80e1552cd876a39feced188d2594d00348020766b51cdb

Non mesurés

Le banc d'essai n'a aucune clé d'API pour ces fournisseurs : rien n'a été lancé pour eux et rien n'est estimé à leur place.

  • OpenAI · Non mesuré : aucune clé
  • Google · Non mesuré : aucune clé
  • Meta (Llama, open weights) · Non mesuré : aucune clé
  • Mistral AI · Non mesuré : aucune clé
  • DeepSeek · Non mesuré : aucune clé

Ce que mesure chaque essai

Quatre essais, 35 éléments notés par modèle. Les trois essais d'acheminement utilisent les mêmes 10 billets et la même clé de correction : la seule chose qui change entre eux, c'est la façon de poser la question au modèle.

Acheminer un billet, en un appel

10 éléments notés

Ce qu'il mesure
Le modèle peut-il classer un billet de soutien dans la bonne file parmi 4 quand on le lui demande directement, et répondre seulement par le nom de la file?
Comment il est noté
Un point quand la réponse, épurée et en minuscules, est exactement la file de la clé de correction. 10 billets, un appel chacun.
Où se perdent les points
Un modèle perd le point s'il se trompe, ou s'il a raison sous la mauvaise forme : une phrase, une file entre guillemets ou en gras. Une lecture stricte compte les deux de la même façon, comme le ferait un programme.
Comment faire mieux
Demander un seul mot et nommer les mots permis. Mieux encore, utiliser une sortie typée, comme dans le troisième essai, pour que la forme ne puisse pas dériver.
Jeu d'essai et clé:
scripts/ch2_course_collapse.py

Acheminer un billet, en trois appels

10 éléments notés

Ce qu'il mesure
Les mêmes billets, acheminés par une chaîne : résumer le billet, énumérer les files possibles, puis en choisir une. On mesure ce que les étapes de plus ajoutent ou font perdre.
Comment il est noté
Un point quand la réponse du dernier appel est exactement la file de la clé. Chaque billet demande trois appels : le coût et le temps s'additionnent donc trois fois.
Où se perdent les points
Chaque étape ne voit que la précédente. Un résumé peut laisser tomber le détail qui décidait de la file, et la dernière étape peut répondre par plus d'un mot.
Comment faire mieux
Garder une chaîne seulement si une étape apporte ce qu'un appel unique ne peut pas. Comparer les deux sur la même clé de correction avant de la garder.
Jeu d'essai et clé:
scripts/ch2_course_collapse.py

Acheminer un billet, sortie typée

10 éléments notés

Ce qu'il mesure
Les mêmes billets, avec une réponse analysée dans un type qui n'accepte que les 4 noms de files. On mesure si le modèle remplit le type, et avec la bonne file.
Comment il est noté
Un point quand la file typée correspond à la clé. Un appel qui lève une erreur, ou qui ne renvoie rien, est un échec et vaut zéro.
Où se perdent les points
Le type élimine les mauvaises formes. Il reste la décision elle-même, plus les appels dont la sortie n'a pas pu remplir le type.
Comment faire mieux
Lire les appels échoués dans l'essai brut : ils montrent où une sortie s'est arrêtée ou a dérivé, ce qu'une note seule cache.
Jeu d'essai et clé:
scripts/ch3_course_route_typed.py

Répondre avec des outils

5 éléments notés

Ce qu'il mesure
Un petit agent d'inventaire muni de deux outils, une recherche de stock et une calculatrice, répond à 6 questions en 5 étapes au plus chacune. 5 d'entre elles ont une seule bonne valeur; la question ouverte est posée, mais pas notée.
Comment il est noté
Un point quand la réponse finale contient la bonne valeur comme nombre à part entière, et non à l'intérieur d'un nombre plus long, et, pour la question de comparaison, désigne le bon article comme le plus grand. Atteindre la limite d'étapes, ou une réponse coupée par la limite de jetons, est un échec.
Où se perdent les points
Un modèle perd des points s'il fait le calcul de tête et se trompe, s'il cherche le mauvais article, ou s'il manque d'étapes ou de jetons avant de répondre.
Comment faire mieux
Décrire chaque outil selon le moment où l'utiliser, garder une limite d'étapes qui arrête la boucle, et noter la trace autant que la réponse.
Jeu d'essai et clé:
scripts/ch4_course_agent.py

Un billet, posé de trois façons

Le texte exact qu'envoie chaque essai d'acheminement pour le même billet, côte à côte. La clé de correction pour ce billet : billing

Acheminer un billet, en un appel
Route this support ticket to exactly one queue.

billing  - charges, invoices, refunds, plan renewals, anything about money
auth     - sign-in, passwords, sessions, lockouts, account access
bug      - the software is behaving incorrectly: crashes, errors, broken features
general  - anything else, including permissions, sharing, and "who do I ask"

Reply with one word: billing, auth, bug, or general.

Ticket: I was charged twice for the same month.
Acheminer un billet, en trois appels
  1. Étape 1
    Summarize this support ticket in one sentence:
    
    I was charged twice for the same month.
  2. Étape 2
    Which of these queues could own this? billing, auth, bug, general
    
    <the summary>
  3. Étape 3
    Pick exactly one queue from this list. Reply with one word.
    
    <the candidates>
Acheminer un billet, sortie typée
Route this support ticket to exactly one of: billing, auth, bug, general.

I was charged twice for the same month.

La réponse doit respecter

queue: Literal["billing", "auth", "bug", "general"]

Et une question pour l'agent

What is the total value of the webcams on hand?

Outils : lookup_stock, calculate. Valeur de la clé de correction : 186.

Lire une ligne

Note
Points sur 35 éléments notés, un passage par élément à chaque essai. Un point correspond à une réponse : un écart d'un point peut donc relever du hasard. L'essai partiel précédent montre le même modèle bouger entre deux essais le même jour.
Coût par passage
Ce qu'a coûté le passage complet de ce modèle : les jetons d'entrée et de sortie déclarés par l'API, multipliés par le prix par jeton publié par Anthropic. La réflexion est facturée comme sortie : un modèle qui réfléchit davantage paie plus cher pour la même réponse.
Appel médian
Le temps médian d'un appel, en secondes, chronométré sur la machine qui a fait l'essai. Il comprend le réseau et la réflexion, et provient d'une seule machine, un seul jour : c'est une comparaison, pas une promesse.
Échecs
Éléments sans réponse utilisable : erreur d'API, réponse vide, réponse coupée par la limite de jetons, appel typé échoué ou agent à court d'étapes. Un échec vaut zéro et est aussi compté à part, pour ne pas confondre une mauvaise réponse et une absence de réponse.

Comment l'ordre est établi

Classement par note, de la plus haute à la plus basse. À note égale, l'ordre suit le coût par passage, du plus bas au plus haut, puis l'appel médian. Un modèle dont le passage n'a pas abouti est présenté à part, sans rang.

Commandité, inconnu, non mesuré

Commandité
Rien. Aucun fabricant de modèles n'a payé ce numéro ni choisi ce qu'il met à l'essai.
Réglages
Chaque modèle est appelé comme un développeur le ferait par défaut : sans invite système, sans réglage de température ni de réflexion, et avec les mêmes limites de jetons pour tous.
Jeux d'essai
Les essais sont les exercices et les clés de correction du livre, rédigés avant que cet indice existe. Aucun essai n'a été écrit ni modifié pour lui.
Non mesuré
La sécurité ne fait pas partie de ce numéro : aucun jeu d'essai de sécurité n'est encore intégré au banc d'essai. Les modèles d'autres fournisseurs ne sont pas mesurés, faute de clé, et rien n'est estimé à leur place.
Inconnu
Chaque élément est posé une fois par essai. Deux essais le même jour donnent un premier aperçu de la façon dont une note bouge d'un essai à l'autre, pas une mesure. Les prix sont ceux publiés par Anthropic; ils changent, donc le coût d'un passage vaut pour le jour de l'essai.

Le refaire soi-même

Le banc d'essai, les jeux d'essai et la sortie brute sont conservés avec les scripts de mesure du livre. Une commande fait tourner tout l'indice sans appeler aucun modèle : on peut lire chaque essai avant de payer un seul appel.

  1. Lire la méthode : python3 scripts/index_run.py describe
  2. Le faire tourner sans appel : python3 scripts/index_run.py run --name index-1-AAAA-MM-JJ --dry-run
  3. Estimer le coût d'un essai payant : python3 scripts/index_run.py estimate

Banc d'essai: scripts/index_run.py · Jeu d'essai et clé: scripts/ch2_course_collapse.py, scripts/ch3_course_route_typed.py, scripts/ch4_course_agent.py

Voir aussiLa méthodeJournal de construction

Liste d'attente

La liste d'attente ouvre bientôt

Il n'y a pas encore de formulaire ici : cette page ne recueille donc rien à votre sujet.