La même scène revient dans presque tous les audits : l’équipe sait qu’une bonne partie de son trafic fonctionnerait avec un modèle moins cher, et ne change pas parce qu’elle n’a aucun moyen de prouver que la qualité tient. L’économie est identifiée et bloquée par l’absence de mesure.
La réponse n’est pas un banc d’essai académique. C’est une petite évaluation, construite sur vos propres données, que vous pouvez rejouer en quelques minutes.
En un coup d’œil
| Problème | Personne ne descend de modèle sans preuve que ça ne se dégrade pas |
| Réponse | Une évaluation minimale sur vos propres cas |
| Taille | De 50 à 200 exemples par tâche |
| Effet | Transforme un acte de foi en décision chiffrée |
Ce qu’est une évaluation minimale
Un ensemble de cas réels de votre exploitation, avec la réponse que vous considérez correcte, et un moyen automatique de comparer la réponse du modèle à cette référence. Rien de plus. Avec 50 à 200 exemples par tâche, vous distinguez déjà un modèle qui convient d’un modèle qui ne convient pas.
La réponse de référence n’a pas à être parfaite. Il suffit qu’elle soit celle que votre système produit aujourd’hui en production et qu’un humain l’ait validée. Vous mesurez si le changement dégrade, pas s’il atteint la perfection.
Comment noter chaque tâche
Cela dépend du type. Si la tâche consiste à extraire des champs ou à classer, la comparaison est exacte et le résultat est un taux de réussite. Si la tâche consiste à rédiger ou résumer, il faut une grille : trois ou quatre critères explicites (fidélité au document, ton, longueur, format) notés un par un.
L’essentiel est de fixer le seuil à l’avance. « J’accepte le changement si la réussite ne baisse pas de plus de deux points » est une décision qu’on prend à froid, avant de voir les résultats.
L’expérience à mener
Prenez une tâche, pas toutes. La plus répétée, qui est souvent aussi la plus simple. Passez vos 100 exemples dans le modèle actuel et dans deux ou trois candidats moins chers. Comparez la réussite et le coût par tâche.
Il se passe presque toujours la même chose : la tâche la plus répétée n’avait pas besoin du grand modèle, et celle qui en a besoin est une minorité du volume. À partir de là, le routage par tâche cesse d’être un pari, comme dans choisir le modèle par tâche.
Ce que l’évaluation apporte au-delà de l’économie
Une évaluation rejouable vaut bien plus qu’un changement ponctuel. Elle sert quand le fournisseur met à jour le modèle sous vos pieds, quand quelqu’un touche au prompt, quand un nouveau modèle sort. Sans elle, chacun de ces événements est un saut dans le vide ; avec elle, c’est une vérification de vingt minutes. Et elle s’articule avec le suivi des dépenses : qualité et coût mesurés dans le même tableau.
Questions fréquentes
Combien d’exemples me faut-il ? Entre 50 et 200 par tâche suffisent pour décider. Davantage affine le chiffre mais change rarement la conclusion.
Puis-je utiliser un modèle pour en noter un autre ? Oui, c’est courant pour les tâches de rédaction, à condition que la grille soit explicite et que vous ayez vérifié à la main que le juge est d’accord avec vous sur un échantillon.
Et si la qualité baisse vraiment ? Alors vous vous êtes épargné la découverte en production. Essayez un modèle intermédiaire ou ne routez que la partie facile de la tâche.
Chez e-ficient, nous mesurons le coût par tâche d’entreprises qui exploitent déjà l’IA en production et vous disons combien vous économiseriez avec chaque levier à votre volume réel. Le premier audit est gratuit si vous souscrivez un forfait avec un engagement de trois mois et rend un diagnostic sous 72 heures.