Um assistente clássico faz uma solicitação por pergunta. Um agente faz um ciclo: pensa, chama uma ferramenta, lê o resultado, volta a pensar. Cada volta arrasta tudo o que veio antes, por isso o contexto cresce e o custo da décima volta não se parece com o da primeira. É por isso que as estimativas feitas com uma única solicitação ficam muito aquém.
Num relance
| O que acontece | O histórico é reenviado a cada volta do ciclo |
| Efeito | O custo cresce mais depressa do que o número de passos |
| Como medir | Por tarefa concluída, não por solicitação |
| Alavancas | Podar o histórico, limitar passos, baixar de modelo dentro do ciclo |
De onde vem o custo
Somam-se três coisas. A primeira, o histórico: na volta N o modelo volta a ler as N-1 anteriores. A segunda, as descrições das ferramentas, que viajam em todas as solicitações mesmo que o agente use duas das quinze que tem. A terceira, as repetições: um passo que falha repete-se e paga-se duas vezes.
O resultado é que o gasto de uma tarefa agêntica não é linear com os passos. Duplicar o comprimento da conversa pode mais do que duplicar a fatura.
Medir por tarefa, não por solicitação
A unidade certa não é a solicitação, é a tarefa concluída. Um agente que resolve o caso em quatro passos com um modelo caro pode sair mais barato do que outro que dá vinte voltas com um barato, e o preço por milhão de tokens não lhe diz isso. É exatamente o que mede o custo por tarefa.
Acrescente uma segunda coluna: a percentagem de tarefas que terminam bem. Um agente barato que falha uma em cada quatro obriga a repetir, e essa repetição também se paga.
Onde travá-lo
Pode o histórico. Nem tudo o que aconteceu há oito passos faz falta no nono. Resumir o antigo e manter o recente intacto corta o crescimento pela raiz.
Corte as ferramentas. Mostre ao agente apenas as que pode usar naquele ponto do fluxo, não o catálogo inteiro.
Ponha um teto de passos. Um agente sem limite é uma fatura sem limite. Mais vale que desista e avise do que dar quarenta voltas.
Baixe de modelo dentro do ciclo. Decidir o passo seguinte costuma ser mais fácil do que resolver a tarefa. Muitos ciclos funcionam igual com um modelo pequeno para navegar e o grande só para o passo difícil, como em escolher o modelo por tarefa.
Coloque em cache a parte fixa. As instruções do sistema e as descrições das ferramentas não mudam entre voltas: são o caso de manual do prompt caching.
Perguntas frequentes
Quanto mais caro é um agente do que um assistente normal? Depende do número de voltas, mas é habitual que uma tarefa agêntica custe uma ordem de grandeza mais do que uma única solicitação equivalente.
Vale a pena limitar os passos? Sim. O teto protege dos casos raros, que são os que comem o orçamento, e costuma afetar uma fração muito pequena das tarefas.
Como sei se o meu agente está a dar voltas a mais? Olhe para a distribuição de passos por tarefa. Se a cauda longa concentra a maior parte do gasto, tem um problema de ciclo, não de preço.
Na e-ficient medimos o custo por tarefa de empresas que já têm IA em produção e dizemos-lhe quanto pouparia com cada alavanca ao seu volume real. A primeira auditoria é gratuita se contratar um plano com compromisso de três meses e devolve um diagnóstico em 72 horas.