En casi todas las auditorías aparece la misma escena: el equipo sabe que buena parte de su tráfico funcionaría con un modelo más barato, y no lo cambia porque no tiene forma de demostrar que la calidad se mantiene. El ahorro está identificado y bloqueado por la falta de una medida.
La solución no es un banco de pruebas académico. Es una evaluación pequeña, hecha con tus propios datos, que se pueda repetir en minutos.
De un vistazo
| Problema | Nadie baja de modelo sin poder demostrar que no empeora |
| Solución | Una evaluación mínima sobre tus propios casos |
| Tamaño | De 50 a 200 ejemplos por tarea |
| Efecto | Convierte una decisión de fe en una decisión con número |
Qué es una evaluación mínima
Un conjunto de casos reales de tu operación, con la respuesta que consideras correcta, y una forma automática de comparar la respuesta del modelo con esa referencia. Nada más. Con 50 a 200 ejemplos por tarea ya distingues un modelo que sirve de uno que no.
La respuesta de referencia no tiene por qué ser perfecta. Basta con que sea la que hoy da tu sistema en producción y que un humano ha validado. Estás midiendo si el cambio empeora, no si alcanza la perfección.
Cómo se puntúa cada tarea
Depende del tipo. Si la tarea es extraer campos o clasificar, la comparación es exacta y el resultado es un porcentaje de acierto. Si la tarea es redactar o resumir, hace falta una rúbrica: tres o cuatro criterios explícitos (fidelidad al documento, tono, longitud, formato) puntuados uno a uno.
Lo importante es fijar antes el umbral. “Acepto el cambio si el acierto no baja más de dos puntos” es una decisión que se toma con la cabeza fría, antes de ver los resultados.
El experimento que hay que hacer
Coge una tarea, no todas. La más repetida, que suele ser también la más simple. Pasa tus 100 ejemplos por el modelo actual y por dos o tres candidatos más baratos. Compara acierto y coste por tarea.
Casi siempre pasa lo mismo: la tarea más repetida no necesitaba el modelo grande, y la que sí lo necesita es una minoría del volumen. A partir de ahí, el enrutado por tarea deja de ser una apuesta, como en elegir el modelo por tarea.
Lo que la evaluación te da además del ahorro
Una evaluación que se puede repetir sirve para mucho más que un cambio puntual. Sirve cuando el proveedor actualiza el modelo por debajo, cuando alguien toca el prompt, cuando sale un modelo nuevo. Sin ella, cada uno de esos eventos es un salto al vacío; con ella, es una comprobación de veinte minutos. Y encaja con la monitorización del gasto: calidad y coste medidos en la misma tabla.
Preguntas frecuentes
¿Cuántos ejemplos necesito? Entre 50 y 200 por tarea es suficiente para decidir. Más ejemplos afinan el número, pero rara vez cambian la conclusión.
¿Puedo usar un modelo para puntuar a otro? Sí, es lo habitual en tareas de redacción, siempre que la rúbrica sea explícita y hayas comprobado a mano que el juez coincide contigo en una muestra.
¿Y si la calidad sí baja? Entonces has ahorrado el disgusto de descubrirlo en producción. Prueba con un modelo intermedio o enruta solo la parte fácil de la tarea.
En e-ficient medimos el coste por tarea de empresas que ya tienen IA en producción y te decimos cuánto ahorrarías con cada palanca a tu volumen real. La primera auditoría es gratuita si contratas un plan con compromiso de tres meses y devuelve un diagnóstico en 72 horas.