Distiller, c’est utiliser un grand modèle pour générer des exemples de la façon dont votre tâche se résout, et entraîner avec ces exemples un petit modèle qui la fait aussi bien. Le petit ne sait pas tout, il sait votre métier, et cela suffit quand la tâche est toujours la même.
C’est le levier le plus lent à mettre en place et celui qui fait le plus baisser le coût unitaire. C’est pourquoi il n’est rentable qu’avec un volume élevé et stable.
En un coup d’œil
| Ce que ça fait | Entraîne un petit modèle sur les réponses du grand |
| Économie typique | Très élevée par requête, une fois en place |
| Coût d’entrée | Générer les données, entraîner, évaluer et maintenir |
| Quand c’est rentable | Une tâche unique, répétée, à volume stable |
Quand cela a du sens
Quand une seule tâche concentre une bonne part de votre dépense et n’a pas changé de forme depuis des mois. Classer des tickets, extraire des champs d’un type de document, modérer du contenu : des tâches étroites, très répétées, aux critères stables.
Cela n’a pas de sens si votre trafic est composé de cent tâches différentes, si la définition de la tâche change chaque mois, ou si le volume est si faible que le grand modèle vous coûte moins que le travail de mise en place.
Ce que ça coûte vraiment
Le prix de l’entraînement est généralement la plus petite part. Le cher, c’est le reste : générer et nettoyer les exemples, disposer d’une évaluation qui dit si le petit égale le grand, et surtout la maintenance. Un modèle distillé est un actif à vous, avec son cycle de vie : quand la tâche change, il faut redistiller.
Avant de vous lancer, vérifiez que le levier bon marché ne suffit pas. Souvent, choisir le modèle par tâche avec un petit modèle sur étagère donne déjà 80 % de l’économie sans rien entraîner.
La distillation face aux autres options
Face au fine-tuning classique, la différence est l’origine des données : en distillation, c’est le grand modèle qui les génère, donc vous ne dépendez pas d’un historique annoté. Face aux exemples placés dans le prompt, vous gagnez parce que ces exemples cessent de voyager à chaque requête : le savoir est dans les poids, pas dans le contexte. C’est le même axe que dans RAG, fine-tuning ou contexte.
Chiffrez-le avant de commencer
Calculez trois chiffres : ce que vous dépensez aujourd’hui par mois sur cette tâche, ce que vous dépenseriez avec le petit modèle, et les heures de travail pour le construire et le maintenir pendant un an. Si l’économie annuelle ne couvre pas cet effort largement, la réponse est non. Vous pouvez faire la première partie avec le calculateur de coût des tokens.
Questions fréquentes
Puis-je distiller n’importe quel modèle ? Pas toujours : les conditions d’utilisation de certains fournisseurs limitent l’usage de leurs sorties pour entraîner des modèles concurrents. À lire avant.
Combien de qualité perd-on ? Sur des tâches étroites, peu ou pas : le petit peut égaler le grand dans son domaine. En dehors, il s’effondre, et c’est précisément pour cela qu’il faut une évaluation propre.
Et si la tâche change ? Il faut redistiller. C’est le coût caché dont presque personne ne parle et la raison pour laquelle ce n’est rentable que sur des tâches stables.
Chez e-ficient, nous mesurons le coût par tâche d’entreprises qui exploitent déjà l’IA en production et vous disons combien vous économiseriez avec chaque levier à votre volume réel. Le premier audit est gratuit si vous souscrivez un forfait avec un engagement de trois mois et rend un diagnostic sous 72 heures.