In quasi tutti gli audit si ripete la stessa scena: il team sa che buona parte del suo traffico funzionerebbe con un modello più economico, e non cambia perché non ha modo di dimostrare che la qualità regge. Il risparmio è individuato e bloccato dalla mancanza di una misura.
La risposta non è un banco di prova accademico. È una valutazione piccola, costruita sui tuoi dati, che si possa ripetere in pochi minuti.
In sintesi
| Problema | Nessuno scende di modello senza poter dimostrare che non peggiora |
| Risposta | Una valutazione minima sui tuoi casi reali |
| Dimensione | Da 50 a 200 esempi per attività |
| Effetto | Trasforma un atto di fede in una decisione con un numero |
Cos’è una valutazione minima
Un insieme di casi reali della tua operatività, con la risposta che consideri corretta, e un modo automatico di confrontare la risposta del modello con quel riferimento. Nient’altro. Con 50-200 esempi per attività distingui già un modello che va bene da uno che non va.
La risposta di riferimento non deve essere perfetta. Basta che sia quella che il tuo sistema produce oggi in produzione e che una persona l’abbia validata. Stai misurando se il cambio peggiora, non se raggiunge la perfezione.
Come si assegna il punteggio
Dipende dal tipo. Se l’attività è estrarre campi o classificare, il confronto è esatto e il risultato è una percentuale di successo. Se l’attività è scrivere o riassumere, serve una rubrica: tre o quattro criteri espliciti (fedeltà al documento, tono, lunghezza, formato) valutati uno per uno.
L’importante è fissare la soglia prima. “Accetto il cambio se il successo non scende di più di due punti” è una decisione che si prende a mente fredda, prima di vedere i risultati.
L’esperimento da fare
Prendi un’attività, non tutte. La più ripetuta, che di solito è anche la più semplice. Passa i tuoi 100 esempi nel modello attuale e in due o tre candidati più economici. Confronta successo e costo per attività.
Succede quasi sempre la stessa cosa: l’attività più ripetuta non aveva bisogno del modello grande, e quella che ne ha bisogno è una minoranza del volume. Da lì, l’instradamento per attività smette di essere una scommessa, come in scegliere il modello per attività.
Cosa ti dà la valutazione oltre al risparmio
Una valutazione ripetibile vale molto più di un cambio una tantum. Serve quando il fornitore aggiorna il modello sotto di te, quando qualcuno tocca il prompt, quando esce un modello nuovo. Senza, ognuno di quegli eventi è un salto nel buio; con, è un controllo di venti minuti. E si incastra con il monitoraggio della spesa: qualità e costo misurati nella stessa tabella.
Domande frequenti
Quanti esempi mi servono? Tra 50 e 200 per attività bastano per decidere. Più esempi affinano il numero, ma raramente cambiano la conclusione.
Posso usare un modello per valutarne un altro? Sì, è la prassi nelle attività di scrittura, purché la rubrica sia esplicita e tu abbia verificato a mano che il giudice concorda con te su un campione.
E se la qualità cala davvero? Allora ti sei risparmiato la sorpresa in produzione. Prova un modello intermedio o instrada solo la parte facile dell’attività.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione e ti diciamo quanto risparmieresti con ogni leva al tuo volume reale. Il primo audit è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.