O fornecedor cobra por processar tokens, não por acertar. Se uma solicitação falha a meio, se o timeout dispara quando a resposta já estava a ser gerada, ou se o seu código descarta a saída porque não cumpre o formato, esse trabalho é pago na mesma e há que voltar a fazê-lo.
É a parte da fatura que não aparece em nenhum painel, porque os painéis contam solicitações, não solicitações úteis.
Num relance
| O que acontece | O trabalho falhado é faturado como o bom |
| Fontes | Repetições, timeouts, validações falhadas, respostas duplicadas |
| Como o ver | Comparar solicitações faturadas com tarefas concluídas |
| Alavanca | Falhar mais cedo, repetir melhor e validar mais barato |
De onde vêm as repetições
As repetições automáticas são o primeiro suspeito. Muitas bibliotecas repetem por omissão perante um erro de rede ou um limite de ritmo, e fazem-no três vezes sem dizer nada. Se a falha era do lado do modelo e a geração já tinha começado, pagou três respostas para usar uma.
Os timeouts mal postos são o segundo. Um timeout mais curto do que a resposta longa que o modelo às vezes gera corta a ligação mas não a faturação: o fornecedor já fez o trabalho.
O terceiro é seu: a validação posterior. Se pede um formato e o seu código rejeita a saída quando não encaixa, cada rejeição é uma solicitação paga e deitada fora.
Como o ver nos seus números
Compare dois valores do mesmo período: solicitações faturadas pelo fornecedor e tarefas concluídas pelo seu sistema. A diferença é o desperdício. Se não tem o segundo, é a primeira coisa a instrumentar, e anda de mãos dadas com a monitorização do gasto.
Em agentes o efeito multiplica-se, porque um passo falhado arrasta todo o histórico acumulado. É uma das razões pelas quais um agente custa mais do que parece.
O que mudar
Repita apenas o que faz sentido repetir. Um erro de rede, sim. Uma resposta que o modelo já gerou e de que não gosta, não: isso não se arranja a repetir, arranja-se a mudar o prompt.
Ajuste o timeout à resposta longa, não à média. E se precisa mesmo de cortar, limite os tokens de saída em vez de cortar a ligação.
Valide barato. Se o formato falha muitas vezes, use a saída estruturada do fornecedor em vez de o pedir no prompt e verificar depois.
Registe o motivo de cada repetição. Sem essa etiqueta, o desperdício é invisível e ninguém o corrige.
Perguntas frequentes
Cobram-me uma solicitação que deu timeout? Em geral sim, se o modelo já começou a processar. O corte é do seu lado, não do deles.
Quanto costuma pesar isto? Varia muito, mas em sistemas sem instrumentação é habitual encontrar uma percentagem do gasto que só paga trabalho deitado fora.
É um problema de custo ou de qualidade? Dos dois. Cada repetição é dinheiro e também latência para o utilizador que está à espera.
Na e-ficient medimos o custo por tarefa de empresas que já têm IA em produção e dizemos-lhe quanto pouparia com cada alavanca ao seu volume real. A primeira auditoria é gratuita se contratar um plano com compromisso de três meses e devolve um diagnóstico em 72 horas.