Quando un’azienda deve mettere la propria conoscenza in un modello di linguaggio —il suo catalogo, i suoi manuali, il suo storico di ticket— salta fuori quasi sempre la stessa discussione: RAG, fine-tuning o semplicemente mettere tutto nel contesto? La conversazione ruota di solito intorno alla qualità: quale risponde meglio, quale allucina meno, quale è più facile da mantenere.
È la domanda sbagliata da cui partire. Nella maggior parte dei progetti che vediamo, la decisione non si rompe sulla qualità —le tre possono dare una qualità accettabile— ma sul costo per attività. E lì le tre opzioni si comportano in modo radicalmente diverso a seconda del tuo volume. Quella che sembra la più economica nella demo diventa la più cara in produzione, e viceversa.
Le tre opzioni, in una frase di costo
Contesto lungo. Metti la conoscenza rilevante direttamente nel prompt a ogni richiesta. Zero infrastruttura, zero preparazione. Ma paghi quei token ogni volta che chiedi. È il “copiare e incollare l’intero manuale” prima di ogni richiesta.
RAG (generazione aumentata dal recupero). Invece di mandare tutta la conoscenza, un motore di ricerca recupera solo i frammenti rilevanti per ogni richiesta e quelli —e solo quelli— viaggiano nel prompt. Il contesto per richiesta resta piccolo. In cambio, monti e mantieni una pipeline: spezzettare i documenti, generare embedding, un database vettoriale, la logica di recupero.
Fine-tuning. Regoli il modello stesso con i tuoi dati. Paghi un costo di addestramento in anticipo, ma poi la conoscenza (o lo stile, o il formato) vive dentro il modello, così il prompt di ogni richiesta può essere molto più corto: non serve più rimandare istruzioni né esempi.
Dove si paga ciascuna
La chiave sta nel distinguere costo di avvio (una volta) da costo per attività (ogni richiesta, per sempre). È la stessa logica del costo per attività: ciò che ti affonda il budget non è il prezzo di listino, è quello che moltiplichi per il tuo volume mensile.
Il contesto lungo ha un costo di avvio quasi nullo e il costo per attività più alto dei tre. Se trascini 8.000 token di manuale a ogni richiesta e risolvi centomila richieste al mese, hai pagato quel manuale centomila volte. Economico da montare, caro da gestire.
Il fine-tuning ribalta la ripartizione: costo di avvio alto (preparare il dataset, addestrare, e riaddestrare ogni volta che la conoscenza cambia), ma il costo per attività più basso, perché il prompt si assottiglia. È l’opzione “pagare molto una volta per pagare poco molte volte”.
Il RAG sta nel mezzo su entrambe le dimensioni: un avvio moderato (la pipeline di recupero) e un costo per attività basso, perché mandi solo i frammenti che servono, non tutto. Ha inoltre un costo che le altre due non mostrano così chiaramente: ogni richiesta paga anche il recupero (embedding della domanda, ricerca nel database vettoriale), anche se di solito è piccolo rispetto al risparmio in token del modello.
Un esempio con i numeri
Prendiamo un’attività che deve appoggiarsi a una base di conoscenza. Risposta di 300 token nei tre casi. Prezzi illustrativi di 2 $ per milione in ingresso e 12 $ per milione in uscita.
| Approccio | Token in ingresso per attività | Costo per attività |
|---|---|---|
| Contesto lungo (manuale intero) | 8.000 | 0,0196 $ |
| RAG (solo frammenti rilevanti) | 1.500 | 0,0066 $ |
| Fine-tuning (prompt minimo) | 500 | 0,0046 $ |
A prima vista, il fine-tuning vince. Ma manca l’altra metà. Se fai mille attività al mese, la differenza tra contesto lungo e fine-tuning è di circa 15 $ mensili: non compensa neanche lontanamente il costo di preparare e mantenere un modello regolato. Se ne fai un milione, quella stessa differenza sono circa 15.000 $ al mese —180.000 $ all’anno— e all’improvviso il fine-tuning si ripaga da solo in settimane.
Il punto di pareggio non è deciso da quale opzione sia “migliore”, ma da quante volte ripeterai l’attività.
Come decidere senza strumentare mezzo team
Tre domande ordinano quasi tutti i casi:
Qual è il tuo volume? Con volumi bassi, il contesto lungo vince quasi sempre: il costo per attività è irrilevante rispetto al tempo di ingegneria che risparmi. Non montare una pipeline di RAG per risolvere mille richieste al mese.
Ogni quanto cambia la conoscenza? Se la tua base cambia ogni giorno —prezzi, inventario, politiche—, il fine-tuning è una trappola: riaddestrare di continuo è caro e lento. Il RAG brilla proprio qui, perché aggiornare è semplice come cambiare i documenti indicizzati. Il fine-tuning si adatta quando ciò che insegni è stabile: un tono, un formato di uscita, un gergo di dominio.
Cosa stai mettendo, conoscenza o comportamento? Il RAG serve a sapere le cose (fatti, documenti, dati che si consultano). Il fine-tuning serve a comportarsi in un certo modo (rispondere con uno stile, seguire una struttura, parlare il tuo linguaggio tecnico). Confonderli è l’errore più caro: provare a mettere una base di conoscenza mutevole con il fine-tuning, o forzare un formato rigido a furia di allungare il prompt a ogni richiesta.
E non sono esclusivi. La combinazione più comune in produzione è fine-tuning per il comportamento + RAG per la conoscenza: un modello regolato per rispondere come vuoi, alimentato con frammenti recuperati al volo. Si paga l’avvio del fine-tuning una volta, si tiene la conoscenza economica con il RAG, e il prompt per attività resta corto da entrambi i lati.
Un avvertimento onesto
I numeri di questo articolo sono un esempio per illustrare il meccanismo, non una misurazione del tuo caso. Il punto di pareggio reale dipende dal tuo volume, da quanto contesto trascina oggi ogni richiesta e da con quale frequenza cambia la tua conoscenza. Può essere a diecimila attività al mese o a dieci milioni.
Ciò che non cambia è l’ordine della decisione: prima misura quanto ti costa oggi un’attività e quante ne fai, e solo dopo scegli l’architettura. Scegliere per ciò che va di moda —“tutti fanno RAG”— invece che per i tuoi numeri è il modo più comune di finire per pagare di più per un’architettura che il tuo volume non giustifica.
Questo articolo fa parte del cluster sul costo per attività dell’IA, la guida che ancora tutto il resto.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione, incluso quanto ti costerebbe ciascuna architettura al tuo volume reale. L’audit iniziale è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.