Distillation heißt: Ein großes Modell erzeugt Beispiele dafür, wie Ihre Aufgabe gelöst wird, und mit diesen Beispielen trainieren Sie ein kleines Modell, das sie ebenso gut erledigt. Das kleine kann nicht alles, es kann Ihre Sache, und das genügt, wenn die Aufgabe immer dieselbe ist.
Es ist der Hebel, der am längsten braucht, und der die Stückkosten am stärksten senkt. Deshalb lohnt er sich nur bei hohem und stabilem Volumen.
Auf einen Blick
| Was es tut | Trainiert ein kleines Modell mit den Antworten des großen |
| Typische Ersparnis | Sehr hoch pro Anfrage, sobald es läuft |
| Einstiegskosten | Daten erzeugen, trainieren, evaluieren und pflegen |
| Wann es sich lohnt | Eine einzige, wiederholte Aufgabe mit stabilem Volumen |
Wann es sinnvoll ist
Wenn eine einzige Aufgabe einen guten Teil Ihrer Ausgaben bündelt und seit Monaten unverändert ist. Tickets klassifizieren, Felder aus einem Dokumenttyp extrahieren, Inhalte moderieren: enge, stark wiederholte Aufgaben mit stabilen Kriterien.
Sinnlos ist es, wenn Ihr Traffic aus hundert verschiedenen Aufgaben besteht, wenn sich die Definition der Aufgabe jeden Monat ändert, oder wenn das Volumen so klein ist, dass das große Modell weniger kostet als die Arbeit am Aufbau.
Was es wirklich kostet
Der Trainingspreis ist meist der kleinste Posten. Teuer ist der Rest: Beispiele erzeugen und säubern, eine Evaluation haben, die sagt, ob das kleine Modell an das große heranreicht, und vor allem die Pflege. Ein destilliertes Modell ist ein eigener Vermögenswert mit eigenem Lebenszyklus: Ändert sich die Aufgabe, wird neu destilliert.
Prüfen Sie vorher, ob der billige Hebel nicht reicht. Oft liefert das Modell je Aufgabe wählen mit einem kleinen Modell von der Stange schon 80 % der Ersparnis, ganz ohne Training.
Distillation im Vergleich
Gegenüber klassischem Fine-Tuning liegt der Unterschied in der Herkunft der Daten: Bei der Distillation erzeugt sie das große Modell, Sie sind also nicht auf eine gelabelte Historie angewiesen. Gegenüber Beispielen im Prompt gewinnen Sie, weil diese Beispiele nicht mehr in jeder Anfrage mitreisen: Das Wissen steckt in den Gewichten, nicht im Kontext. Dieselbe Achse wie in RAG, Fine-Tuning oder Kontext.
Beziffern Sie es, bevor Sie anfangen
Rechnen Sie drei Zahlen aus: was Sie heute im Monat für diese Aufgabe ausgeben, was Sie mit dem kleinen Modell ausgeben würden, und die Arbeitsstunden für Aufbau und ein Jahr Pflege. Deckt die Jahresersparnis diesen Aufwand nicht mit Abstand, lautet die Antwort nein. Den ersten Teil erledigt der Token-Kostenrechner.
Häufige Fragen
Darf ich jedes Modell destillieren? Nicht immer: Die Nutzungsbedingungen mancher Anbieter beschränken die Verwendung ihrer Ausgaben zum Training konkurrierender Modelle. Vorher lesen.
Wie viel Qualität geht verloren? Bei engen Aufgaben wenig bis nichts: Das kleine Modell kann das große in seiner Domäne einholen. Außerhalb bricht es ein, und genau deshalb brauchen Sie eine eigene Evaluation.
Und wenn sich die Aufgabe ändert? Dann wird neu destilliert. Das sind die versteckten Kosten, über die kaum jemand spricht, und der Grund, warum es sich nur bei stabilen Aufgaben lohnt.
Bei e-ficient messen wir die Kosten pro Aufgabe von Unternehmen, die KI bereits produktiv einsetzen, und sagen Ihnen, wie viel Sie mit jedem Hebel bei Ihrem realen Volumen sparen würden. Das erste Audit ist kostenfrei, wenn Sie einen Plan mit drei Monaten Laufzeit abschließen, und liefert innerhalb von 72 Stunden eine Diagnose.