Distillare significa usare un modello grande per generare esempi di come si risolve la tua attività, e con quegli esempi addestrare un modello piccolo che la faccia altrettanto bene. Il piccolo non sa tutto, sa il tuo mestiere, e tanto basta quando l’attività è sempre la stessa.
È la leva più lenta da applicare e quella che abbassa di più il costo unitario. Per questo conviene solo con volumi alti e stabili.
In sintesi
| Cosa fa | Addestra un modello piccolo sulle risposte del grande |
| Risparmio tipico | Molto alto per richiesta, una volta a regime |
| Costo d’ingresso | Generare dati, addestrare, valutare e mantenere |
| Quando conviene | Attività unica, ripetuta e con volume stabile |
Quando ha senso
Quando una sola attività concentra buona parte della tua spesa e da mesi non cambia forma. Classificare ticket, estrarre campi da un tipo di documento, moderare contenuti: attività strette, molto ripetute, con criteri stabili.
Non ha senso se il tuo traffico sono cento attività diverse, se la definizione dell’attività cambia ogni mese, o se il volume è così basso che il modello grande ti costa meno del lavoro di montare la distillazione.
Quanto costa davvero
Il prezzo dell’addestramento di solito è la parte minore. Il caro è il resto: generare e ripulire gli esempi, avere una valutazione che dica se il piccolo raggiunge il grande, e soprattutto la manutenzione. Un modello distillato è un asset tuo, con il suo ciclo di vita: quando l’attività cambia, si ridistilla.
Prima di lanciarti, verifica che la leva economica non basti. Spesso scegliere il modello per attività con un modello piccolo di catalogo dà già l’80 % del risparmio senza addestrare nulla.
La distillazione rispetto alle alternative
Rispetto al fine-tuning classico, la differenza è da dove arrivano i dati: nella distillazione li genera il modello grande, quindi non dipendi da uno storico etichettato. Rispetto a mettere esempi nel prompt, guadagni perché quegli esempi smettono di viaggiare in ogni richiesta: la conoscenza sta nei pesi, non nel contesto. È lo stesso asse discusso in RAG, fine-tuning o contesto.
Mettici un numero prima di iniziare
Calcola tre cifre: quanto spendi oggi al mese per quell’attività, quanto spenderesti con il modello piccolo e le ore di lavoro per costruirlo e mantenerlo un anno. Se il risparmio annuo non copre quello sforzo con margine, la risposta è no. La prima parte puoi farla con il calcolatore del costo dei token.
Domande frequenti
Posso distillare qualsiasi modello? Non sempre: le condizioni d’uso di alcuni fornitori limitano l’uso dei loro output per addestrare modelli concorrenti. Meglio leggerle prima.
Quanta qualità si perde? Su attività strette, poca o nessuna: il piccolo può eguagliare il grande dentro il suo dominio. Fuori, crolla, ed è esattamente per questo che serve una valutazione tua.
E se l’attività cambia? Si ridistilla. È il costo nascosto di cui quasi nessuno parla e il motivo per cui conviene solo su attività stabili.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione e ti diciamo quanto risparmieresti con ogni leva al tuo volume reale. Il primo audit è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.