Der Anbieter berechnet die Verarbeitung von Tokens, nicht das richtige Ergebnis. Wenn eine Anfrage auf halbem Weg scheitert, wenn der Timeout greift, während die Antwort schon erzeugt wurde, oder wenn Ihr Code die Ausgabe verwirft, weil sie das Format verfehlt, wird diese Arbeit trotzdem abgerechnet und muss noch einmal gemacht werden.
Es ist der Teil der Rechnung, der auf keinem Dashboard auftaucht, weil Dashboards Anfragen zählen und nicht nützliche Anfragen.
Auf einen Blick
| Was passiert | Fehlgeschlagene Arbeit wird wie gelungene abgerechnet |
| Quellen | Wiederholungen, Timeouts, gescheiterte Validierung, doppelte Antworten |
| Wie sichtbar machen | Abgerechnete Anfragen mit erledigten Aufgaben vergleichen |
| Der Hebel | Früher scheitern, klüger wiederholen, günstiger validieren |
Woher die Wiederholungen kommen
Automatische Retries sind der erste Verdächtige. Viele Bibliotheken wiederholen bei Netzwerkfehlern oder Rate-Limits standardmäßig, und zwar dreimal, ohne ein Wort zu sagen. Lag der Fehler beim Modell und war die Generierung schon angelaufen, haben Sie drei Antworten bezahlt, um eine zu nutzen.
Schlecht gesetzte Timeouts sind der zweite. Ein Timeout, der kürzer ist als die lange Antwort, die das Modell manchmal erzeugt, kappt die Verbindung, aber nicht die Abrechnung: Der Anbieter hat die Arbeit bereits geleistet.
Der dritte gehört Ihnen: die nachgelagerte Validierung. Wenn Sie ein Format verlangen und Ihr Code die Ausgabe verwirft, sobald sie nicht passt, ist jede Ablehnung eine bezahlte und weggeworfene Anfrage.
Wie Sie es in Ihren Zahlen sehen
Vergleichen Sie zwei Werte desselben Zeitraums: vom Anbieter abgerechnete Anfragen und von Ihrem System erledigte Aufgaben. Die Lücke ist der Verschnitt. Fehlt der zweite Wert, ist er das Erste, was instrumentiert gehört, Hand in Hand mit dem Überwachen der Ausgaben.
Bei Agenten vervielfacht sich der Effekt, weil ein gescheiterter Schritt den gesamten angesammelten Verlauf mitschleppt. Das ist einer der Gründe, warum ein Agent mehr kostet, als es aussieht.
Was Sie ändern
Wiederholen Sie nur, was sich zu wiederholen lohnt. Einen Netzwerkfehler, ja. Eine Antwort, die das Modell bereits erzeugt hat und die Ihnen nicht gefällt, nein: Die repariert man nicht durch Wiederholen, sondern durch einen anderen Prompt.
Richten Sie den Timeout an der langen Antwort aus, nicht am Durchschnitt. Und wenn Sie wirklich kappen müssen, begrenzen Sie die Ausgabe-Tokens statt die Verbindung.
Validieren Sie günstig. Scheitert das Format häufig, nutzen Sie die strukturierte Ausgabe des Anbieters, statt sie im Prompt zu erbitten und hinterher zu prüfen.
Protokollieren Sie den Grund jeder Wiederholung. Ohne dieses Etikett ist der Verschnitt unsichtbar und niemand behebt ihn.
Häufige Fragen
Wird eine Anfrage mit Timeout berechnet? In der Regel ja, wenn das Modell bereits mit der Verarbeitung begonnen hat. Der Abbruch kommt von Ihrer Seite, nicht von seiner.
Wie stark fällt das ins Gewicht? Sehr unterschiedlich, aber in nicht instrumentierten Systemen findet man regelmäßig einen Anteil der Ausgaben, der nichts als weggeworfene Arbeit bezahlt.
Ist das ein Kosten- oder ein Qualitätsproblem? Beides. Jede Wiederholung ist Geld und zugleich Latenz für den wartenden Nutzer.
Bei e-ficient messen wir die Kosten pro Aufgabe von Unternehmen, die KI bereits produktiv einsetzen, und sagen Ihnen, wie viel Sie mit jedem Hebel bei Ihrem realen Volumen sparen würden. Das erste Audit ist kostenfrei, wenn Sie einen Plan mit drei Monaten Laufzeit abschließen, und liefert innerhalb von 72 Stunden eine Diagnose.