Il fornitore fa pagare l’elaborazione dei token, non il fatto di azzeccare. Se una richiesta fallisce a metà, se il timeout scatta mentre la risposta era già in generazione, o se il tuo codice scarta l’output perché non rispetta il formato, quel lavoro si paga lo stesso e va rifatto.
È la parte della fattura che non compare in nessun cruscotto, perché i cruscotti contano le richieste, non le richieste utili.
In sintesi
| Cosa succede | Il lavoro fallito si fattura come quello buono |
| Fonti | Ritentativi, timeout, validazioni fallite, risposte duplicate |
| Come vederlo | Confrontare richieste fatturate e attività completate |
| La leva | Fallire prima, ritentare meglio, validare a meno |
Da dove arrivano le ripetizioni
I ritentativi automatici sono il primo sospettato. Molte librerie ritentano di default a fronte di un errore di rete o di un limite di frequenza, e lo fanno tre volte senza dirlo. Se il guasto era dal lato del modello e la generazione era già partita, hai pagato tre risposte per usarne una.
I timeout impostati male sono il secondo. Un timeout più corto della risposta lunga che il modello a volte produce taglia la connessione ma non la fatturazione: il fornitore il lavoro l’ha già fatto.
Il terzo è tuo: la validazione a posteriori. Se chiedi un formato e il tuo codice rifiuta l’output quando non combacia, ogni rifiuto è una richiesta pagata e buttata.
Come vederlo nei tuoi numeri
Confronta due cifre dello stesso periodo: richieste fatturate dal fornitore e attività completate dal tuo sistema. La differenza è lo spreco. Se la seconda non ce l’hai, è la prima cosa da strumentare, e va a braccetto con il monitoraggio della spesa.
Negli agenti l’effetto si moltiplica, perché un passo fallito si trascina tutto lo storico accumulato. È uno dei motivi per cui un agente costa più di quanto sembra.
Cosa cambiare
Ritenta solo quello che ha senso ritentare. Un errore di rete, sì. Una risposta che il modello ha già generato e che non ti piace, no: quella non si aggiusta ripetendo, si aggiusta cambiando il prompt.
Taratura del timeout sulla risposta lunga, non sulla media. E se devi davvero tagliare, limita i token di output invece di chiudere la connessione.
Valida a poco prezzo. Se il formato sbaglia spesso, usa l’output strutturato del fornitore invece di chiederlo nel prompt e controllarlo dopo.
Registra il motivo di ogni ripetizione. Senza quell’etichetta lo spreco è invisibile e nessuno lo sistema.
Domande frequenti
Mi fatturano una richiesta andata in timeout? In genere sì, se il modello ha già iniziato a elaborare. Il taglio è dalla tua parte, non dalla loro.
Quanto pesa di solito? Varia parecchio, ma nei sistemi non strumentati è normale trovare una quota di spesa che paga solo lavoro buttato.
È un problema di costo o di qualità? Di entrambi. Ogni ripetizione è denaro ed è anche latenza per l’utente che aspetta.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione e ti diciamo quanto risparmieresti con ogni leva al tuo volume reale. Il primo audit è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.