Destilar é usar um modelo grande para gerar exemplos de como se resolve a sua tarefa, e com esses exemplos treinar um modelo pequeno que a faça igualmente bem. O pequeno não sabe de tudo, sabe do que é seu, e isso chega quando a tarefa é sempre a mesma.
É a alavanca mais lenta de aplicar e a que mais baixa o custo unitário. Por isso só compensa quando o volume é alto e estável.
Num relance
| O que faz | Treina um modelo pequeno com as respostas do grande |
| Poupança típica | Muito alta por solicitação, depois de montado |
| Custo de entrada | Gerar dados, treinar, avaliar e manter |
| Quando compensa | Tarefa única, repetida e com volume estável |
Quando faz sentido
Quando uma só tarefa concentra boa parte do seu gasto e há meses que não muda de forma. Classificar tickets, extrair campos de um tipo de documento, moderar conteúdo: tarefas estreitas, muito repetidas, com critério estável.
Não faz sentido se o seu tráfego são cem tarefas diferentes, se a definição da tarefa muda todos os meses, ou se o volume é tão baixo que o modelo grande lhe custa menos do que o trabalho de montar a destilação.
O que custa mesmo
O preço do treino costuma ser a parte menor. O caro é o resto: gerar e limpar os exemplos, ter uma avaliação que diga se o pequeno alcança o grande, e sobretudo a manutenção. Um modelo destilado é um ativo próprio, com o seu ciclo de vida: quando a tarefa mudar, há que voltar a destilar.
Antes de avançar, verifique que a alavanca barata não chega. Muitas vezes escolher o modelo por tarefa com um modelo pequeno de catálogo já dá 80 % da poupança sem treinar nada.
Destilação face às outras opções
Face ao ajuste fino clássico, a diferença está em de onde vêm os dados: na destilação é o modelo grande que os gera, por isso não depende de ter um histórico etiquetado. Face a pôr exemplos no prompt, ganha porque esses exemplos deixam de viajar em cada solicitação: o conhecimento está nos pesos, não no contexto. É o mesmo eixo que se discute em RAG, ajuste fino ou contexto.
Ponha número antes de começar
Calcule três valores: o que gasta hoje por mês nessa tarefa, o que gastaria com o modelo pequeno e as horas de trabalho de montar e manter durante um ano. Se a poupança anual não pagar esse esforço com folga, a resposta é não. Pode fazer a primeira parte com a calculadora de custo de tokens.
Perguntas frequentes
Posso destilar qualquer modelo? Nem sempre: as condições de uso de alguns fornecedores limitam usar as suas saídas para treinar modelos concorrentes. Convém lê-las antes.
Quanta qualidade se perde? Em tarefas estreitas, pouca ou nenhuma: o pequeno pode igualar o grande dentro do seu domínio. Fora dele, desaba, e é precisamente por isso que faz falta uma avaliação própria.
E se a tarefa mudar? Há que voltar a destilar. Esse é o custo escondido de que quase ninguém fala e o motivo pelo qual só compensa em tarefas estáveis.
Na e-ficient medimos o custo por tarefa de empresas que já têm IA em produção e dizemos-lhe quanto pouparia com cada alavanca ao seu volume real. A primeira auditoria é gratuita se contratar um plano com compromisso de três meses e devolve um diagnóstico em 72 horas.