Scegliere il modello per attività è, di gran lunga, la leva di costo più grande. La maggior parte delle attività —classificare, estrarre, riassumere— le risolve un modello piccolo a una frazione del prezzo del grande. L’errore più caro è usare il modello più potente per tutto: riserva il grande a ciò che ne ha davvero bisogno e instrada il resto a quello piccolo.
È la prima delle 7 leve per ridurre la bolletta di OpenAI e quella che sposta di più l’ago.
Quale modello per tipo di attività
| Attività | Modello | Costo relativo |
|---|---|---|
| Classificare, etichettare, instradare | Piccolo | Molto basso |
| Estrarre dati da un testo | Piccolo | Molto basso |
| Riassumere, riscrivere | Piccolo / medio | Basso |
| Scrittura con sfumatura, tono | Medio | Medio |
| Ragionamento complesso, codice difficile | Grande | Alto |
L’errore di usare il grande per tutto
Il modello più potente è anche il più caro per token, a volte di un ordine di grandezza. Se lo usi per classificare ticket o estrarre campi da una fattura, paghi un prezzo da ragionamento avanzato per un’attività che un modello piccolo azzecca. A volume, quella differenza è la maggior parte di una bolletta gonfiata.
Come decidere
Parti dall’attività, non dal modello. Chiediti quale capacità minima la risolve bene: se un modello piccolo dà la qualità che ti serve, la decisione finisce lì. Sali di livello solo quando la qualità del piccolo è insufficiente in modo misurabile, non per default.
Come instradare
Lo schema abituale è una porta economica davanti: un piccolo classificatore (o poche regole) guarda ogni richiesta e la manda al modello giusto. Il semplice va al piccolo; solo ciò che ne ha davvero bisogno passa al grande. Così paghi il modello caro solo sulla frazione di richieste che lo giustificano.
Mettici un numero
Prima di fissare l’instradamento, misura di quanto cambia il costo per modello. Inserisci i tuoi token e il tuo volume nel calcolatore di costo dei token e confronta lo stesso lavoro su un modello grande e su uno piccolo: vedrai la differenza mensile di colpo. Tutto questo fa parte del costo per attività che misura e-ficient.
Domande frequenti
Quale modello di IA usare per ogni attività? Uno piccolo per classificare, estrarre e riassumere; uno medio per la scrittura con sfumatura; riserva il grande al ragionamento complesso o al codice difficile. Parti dal piccolo e sali solo se la qualità è insufficiente.
Quanto si risparmia scegliendo bene il modello? È la leva a maggior impatto: instradare le attività semplici a un modello piccolo può abbassare il costo di quelle richieste tra il 50 e il 90 %.
Si combina con le altre leve? Sì. Sopra il modello ben scelto si sommano il prompt caching e il batch API.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione e ti diciamo quanto risparmieresti con ogni leva al tuo volume reale. Il primo audit è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.