Em quase todas as auditorias aparece a mesma cena: a equipa sabe que boa parte do seu tráfego funcionaria com um modelo mais barato e não muda porque não tem forma de demonstrar que a qualidade se mantém. A poupança está identificada e bloqueada pela falta de uma medida.
A solução não é um banco de provas académico. É uma avaliação pequena, feita com os seus próprios dados, que se possa repetir em minutos.
Num relance
| Problema | Ninguém baixa de modelo sem poder provar que não piora |
| Solução | Uma avaliação mínima sobre os seus próprios casos |
| Tamanho | De 50 a 200 exemplos por tarefa |
| Efeito | Transforma uma decisão de fé numa decisão com número |
O que é uma avaliação mínima
Um conjunto de casos reais da sua operação, com a resposta que considera correta, e uma forma automática de comparar a resposta do modelo com essa referência. Nada mais. Com 50 a 200 exemplos por tarefa já distingue um modelo que serve de um que não serve.
A resposta de referência não tem de ser perfeita. Basta que seja a que o seu sistema dá hoje em produção e que um humano validou. Está a medir se a mudança piora, não se atinge a perfeição.
Como se pontua cada tarefa
Depende do tipo. Se a tarefa é extrair campos ou classificar, a comparação é exata e o resultado é uma percentagem de acerto. Se a tarefa é redigir ou resumir, é preciso uma rubrica: três ou quatro critérios explícitos (fidelidade ao documento, tom, comprimento, formato) pontuados um a um.
O importante é fixar o limiar antes. “Aceito a mudança se o acerto não descer mais de dois pontos” é uma decisão que se toma de cabeça fria, antes de ver os resultados.
A experiência que vale a pena fazer
Escolha uma tarefa, não todas. A mais repetida, que costuma ser também a mais simples. Passe os seus 100 exemplos pelo modelo atual e por dois ou três candidatos mais baratos. Compare acerto e custo por tarefa.
Quase sempre acontece o mesmo: a tarefa mais repetida não precisava do modelo grande, e a que precisa é uma minoria do volume. A partir daí, o encaminhamento por tarefa deixa de ser uma aposta, como em escolher o modelo por tarefa.
O que a avaliação lhe dá além da poupança
Uma avaliação que se pode repetir serve para muito mais do que uma mudança pontual. Serve quando o fornecedor atualiza o modelo por baixo, quando alguém mexe no prompt, quando sai um modelo novo. Sem ela, cada um desses eventos é um salto no escuro; com ela, é uma verificação de vinte minutos. E encaixa com a monitorização do gasto: qualidade e custo medidos na mesma tabela.
Perguntas frequentes
De quantos exemplos preciso? Entre 50 e 200 por tarefa chega para decidir. Mais exemplos afinam o número, mas raramente mudam a conclusão.
Posso usar um modelo para pontuar outro? Sim, é o habitual em tarefas de redação, desde que a rubrica seja explícita e tenha verificado à mão que o juiz coincide consigo numa amostra.
E se a qualidade descer mesmo? Então poupou o desgosto de o descobrir em produção. Experimente um modelo intermédio ou encaminhe só a parte fácil da tarefa.
Na e-ficient medimos o custo por tarefa de empresas que já têm IA em produção e dizemos-lhe quanto pouparia com cada alavanca ao seu volume real. A primeira auditoria é gratuita se contratar um plano com compromisso de três meses e devolve um diagnóstico em 72 horas.