Destilar es usar un modelo grande para generar ejemplos de cómo se resuelve tu tarea, y con esos ejemplos entrenar un modelo pequeño que la haga igual de bien. El pequeño no sabe de todo, sabe de lo tuyo, y eso basta cuando la tarea es siempre la misma.
Es la palanca más lenta de aplicar y la que más baja el coste unitario. Por eso solo compensa cuando el volumen es alto y estable.
De un vistazo
| Qué hace | Entrena un modelo pequeño con las respuestas del grande |
| Ahorro típico | Muy alto por petición, una vez montado |
| Coste de entrada | Generar datos, entrenar, evaluar y mantener |
| Cuándo compensa | Tarea única, repetida y con volumen estable |
Cuándo tiene sentido
Cuando una sola tarea concentra buena parte de tu gasto y lleva meses sin cambiar de forma. Clasificar tickets, extraer campos de un tipo de documento, moderar contenido: tareas estrechas, muy repetidas, con criterio estable.
No tiene sentido si tu tráfico son cien tareas distintas, si la definición de la tarea cambia cada mes, o si el volumen es tan bajo que el modelo grande te cuesta menos que el trabajo de montar la destilación.
Qué cuesta de verdad
El precio del entrenamiento suele ser la parte menor. Lo caro es el resto: generar y limpiar los ejemplos, tener una evaluación que diga si el pequeño alcanza al grande, y sobre todo el mantenimiento. Un modelo destilado es un activo propio, con su ciclo de vida: cuando la tarea cambie, hay que volver a destilar.
Antes de meterte, comprueba que la palanca barata no basta. Muchas veces elegir el modelo por tarea con un modelo pequeño de catálogo ya da el 80 % del ahorro sin entrenar nada.
Destilación frente a las otras opciones
Frente al ajuste fino clásico, la diferencia es de dónde salen los datos: en la destilación los genera el modelo grande, así que no dependes de tener un histórico etiquetado. Frente a poner ejemplos en el prompt, ganas porque esos ejemplos dejan de viajar en cada petición: el conocimiento está en los pesos, no en el contexto. Es el mismo eje que se discute en RAG, ajuste fino o contexto.
Ponle número antes de empezar
Calcula tres cifras: lo que gastas hoy al mes en esa tarea, lo que gastarías con el modelo pequeño y las horas de trabajo de montarlo y mantenerlo un año. Si el ahorro anual no paga ese esfuerzo con holgura, la respuesta es no. Puedes hacer la primera parte con la calculadora de coste de tokens.
Preguntas frecuentes
¿Puedo destilar cualquier modelo? No siempre: las condiciones de uso de algunos proveedores limitan usar sus salidas para entrenar modelos que compitan con ellos. Conviene leerlas antes.
¿Cuánta calidad se pierde? En tareas estrechas, poca o ninguna: el pequeño puede igualar al grande dentro de su dominio. Fuera de él, se desploma, y por eso hace falta una evaluación propia.
¿Y si la tarea cambia? Hay que volver a destilar. Ese es el coste oculto del que casi nadie habla y el motivo por el que solo compensa en tareas estables.
En e-ficient medimos el coste por tarea de empresas que ya tienen IA en producción y te decimos cuánto ahorrarías con cada palanca a tu volumen real. La primera auditoría es gratuita si contratas un plan con compromiso de tres meses y devuelve un diagnóstico en 72 horas.