Qué modelo de IA usar: la cuenta que casi nadie hace

Al elegir una IA miramos el plan de precios, y la factura la decide otra cosa: cuánto la dejamos pensar. Analizando datos de dos de las familias de modelos más utilizadas publicados por una entidad independiente, nos damos cuenta de que las cosas no son como parecen.

Cuando una empresa empieza a usar la IA de forma profesional, ya sea con un plan de pago en el navegador o pagando por uso en un proyecto, surge el acto reflejo de hacer lo mismo que con cualquier otro proveedor. Mirar solo la tarifa. El modelo pequeño cuesta la mitad, o la décima parte, que el grande, y con eso parece que la decisión está tomada.

Sin embargo, hay un segundo dial que casi nadie toca y que pesa más en la factura que el primero.

Dos diales, no uno

Los modelos actuales de las tres grandes familias (Claude, ChatGPT y Gemini) nos dejan elegir dos cosas. El modelo, que es la versión más grande o más pequeña. Y el esfuerzo, que es cuánto le dejamos pensar antes de contestar. En las aplicaciones de chat aparece como un selector de modelo y una opción de pensar más o menos; en el uso por programación es un parámetro con varios niveles, del mínimo al máximo.

Lo que hace el esfuerzo es sencillo de explicar. Antes de darnos la respuesta, el modelo escribe por dentro: razona, prueba caminos, se corrige. Ese texto interno no lo vemos, pero se paga igual que el que sí vemos, porque son los mismos tokens de salida. Y la salida es lo caro, porque en la tarifa cuesta varias veces más que la entrada (cinco en la de Claude).

Las mediciones independientes de Artificial Analysis (una batería de pruebas que pasa igual a todos los modelos) dan la cifra. Entre el esfuerzo mínimo y el máximo, un mismo modelo multiplica lo que escribe por entre ocho y once. Si pensar más multiplica por diez lo que se paga, subir el esfuerzo cuesta más que subir de modelo, que como mucho dobla o triplica el precio por token. Ahí está la cuenta.

El pequeño que da vueltas

Lo intuitivo es tirar del modelo pequeño y, si no llega, pedirle que piense más. En la gama de Claude está medido que sale al revés.

Sonnet 5, su modelo intermedio, pensando al máximo acierta menos que Opus 5, el superior, pensando lo mínimo, y cuesta más de cuatro veces más. Y un escalón más arriba pasa lo mismo: Opus 5 pensando al máximo empata con Fable 5.1, el más grande de la gama, pensando alto, que es un 33 % más barato.

El modelo pequeño no llega por capacidad y lo compensa dando vueltas. Cada vuelta cuesta.

Eso es lo que está pasando por dentro. En la misma batería, Sonnet 5 al máximo gastó tres veces más tokens que Fable 5 (la versión anterior del más grande) al máximo, para sacar peor nota. No es que piense mejor. Es que piensa más veces.

Las cifras de Artificial Analysis caducan en semanas; lo que importa es el orden entre combinaciones.

De hecho, mientras se escribía esto Anthropic sacó Opus 5.5, que pensando lo mínimo saca 42 puntos por 0,55 dólares y al máximo llega a 58. No lo meto en la gráfica porque es de otra generación, y aquí solo se comparan modelos de la misma: si no, se mezcla el efecto del esfuerzo con el de un modelo nuevo y ya no se sabe qué está midiendo uno. Lo que sí hace es repetir la cuenta de este apartado más marcada todavía: Sonnet 5 al máximo pierde contra Opus 5.5 pensando lo mínimo, que cuesta menos de la novena parte.

Donde la regla se invierte

Sería cómodo dejarlo ahí y publicar “usa siempre el modelo grande”. No es verdad, y la familia de ChatGPT lo enseña.

En ChatGPT la generación 6 acaba de salir: Sol y Luna se publicaron el 22 de septiembre, con Astra ya por encima. Entre Sol y Astra, que cuesta cinco veces más por token, lo que decide no es el precio sino la dificultad: hasta donde Sol llega, Sol sale más barato, y Sol se queda con techo en 48 puntos. Por encima de ahí solo llega Astra. Pero abajo la cuenta se da la vuelta del todo. Luna es veinte veces más barata por token que Sol, y pensando al máximo acierta más que Sol pensando lo mínimo por casi la mitad de precio. El pequeño gana en acierto y en coste.

Esto no es cosa de los modelos de esta semana. En la generación anterior, la 5.6, las cifras eran otras y la conclusión era la misma: el pequeño salía diez veces más barato que el de encima y, pensando mucho, le ganaba. Cambian los nombres y los precios; la cuenta se repite.

La explicación está en la diferencia de precio. Entre los escalones de Claude, el modelo superior cuesta por token dos o dos veces y media más que el inferior. Con esa distancia, al inferior no le compensa multiplicar por diez lo que escribe. Pero Luna es veinte veces más barata que Sol, y con esa distancia sí puede permitirse pensar mucho y seguir saliendo más barata, hasta donde le dé su techo: Luna no pasa de 37 puntos, piense lo que piense. Entre Sol y Astra, con cinco veces de por medio, no se cumple ni lo uno ni lo otro, y el reparto se hace por dificultad: el de abajo para el trabajo corriente y el de arriba solo para lo que el de abajo no alcanza.

Así que la regla que aguanta no es “más modelo y menos esfuerzo”. Es una cuenta: antes de subir el esfuerzo del modelo inferior, hay que mirar cuánto más barato es por token que el superior. Si es dos o tres veces, compensa subir de modelo. Si es diez veces o más, sube el esfuerzo del pequeño antes que de modelo, mientras llegue a la calidad que necesitas. Y si se queda en medio, como las cinco veces que separan a Sol de Astra, no hay una respuesta única: se reparte por dificultad, con el de abajo para lo corriente y el de arriba para lo más difícil.

Tres matices más que se cumplen en todas las familias medidas:

• El esfuerzo no compra techo. Ningún modelo inferior alcanza, piense lo que piense, la nota máxima del superior. Para lo más difícil, el modelo superior es obligatorio.
• El superior tiene que pensar, aunque sea poco. Con el razonamiento apagado del todo pierde contra el inferior pensando a fondo. Esto pasó en la generación anterior y sigue pasando en esta.
• El máximo casi nunca compensa. En Fable 5.1, el más grande de Claude, pensar al máximo da la misma nota que el nivel anterior, cuesta un 28 % más y tarda más de cuatro minutos en empezar a contestar.

En lo fácil, al revés

Todo lo anterior está medido sobre tareas difíciles, que es lo que prueban los índices. En las tareas fáciles la cuenta cambia de signo, y son la mayoría de las que una empresa automatiza: clasificar correos, extraer cuatro campos de una factura, reformatear un listado.

Ahí todos los modelos aciertan, y el coste depende solo de los tokens por llamada. Las mediciones que hay apuntan en esa dirección: en clasificación de texto, razonar aporta entre uno y tres puntos y multiplica los tokens entre diez y cien veces; en extracción de documentos limpios, los modelos baratos igualan a los caros. No conozco una prueba directa que compare los niveles de esfuerzo de un mismo modelo en tareas de oficina, así que esto es criterio con respaldo, no ley.

Un ejemplo con supuestos míos, para ver el orden de magnitud. Mil facturas al mes, unos tres mil tokens de entrada y trescientos de salida útil por factura. Con Haiku 4.5, el más pequeño de Claude, sin razonar, unos 4,5 dólares al mes. Con Opus 5 pensando alto, unos 70. La misma tarea bien hecha, con un factor de quince entre medias. Hay además un detalle poco intuitivo. En clasificaciones donde un falso positivo sale caro, hay mediciones de que pensar más empeora el resultado. Subir el esfuerzo no es la herramienta; lo es un umbral de confianza, que el propio modelo señale de qué no está seguro, o una revisión por muestreo.

Juntando lo difícil y lo fácil, el reparto por tipo de tarea queda más o menos así, y en la dificultad media es donde las dos familias se separan:

Y si el trabajo dura horas

Hasta aquí hablamos del trabajo por turnos, una pregunta y una respuesta. Cuando la IA trabaja sola durante horas, como un agente que construye algo, la cuenta cambia de sitio.

En nuestro propio caso, con 32 horas de agente registradas paso a paso este mes de septiembre, el reparto del gasto fue este: el 63 % se fue en releer el contexto acumulado, algo más de una quinta parte en entrada nueva y solo el 15 % en lo que el modelo escribe. Con la salida en el 15 %, bajar el esfuerzo deja de ser la palanca. La palanca es que el encargo sea más corto y arrastre menos contexto: tres encargos de media hora cuestan menos que uno de hora y media, aunque produzcan lo mismo.

Ahí aparece además un efecto que ningún índice recoge. Fable 5.1 nos salió igual de caro que Opus 5, porque cobra la relectura al 2,5 % de la entrada frente al 10 % de Opus. Cuesta el doble por token y acaba costando lo mismo por trabajo, acertando más. Son cifras de una empresa, tres herramientas internas, un solo proveedor (Claude) y tarifas de lista de precios, así que sirven solo como caso de ejemplo.

Quién decide qué es fácil

La regla completa, entonces, es “empezar abajo y subir solo si falla; en lo difícil, hacer la cuenta antes de subir el esfuerzo”. Y aquí llega la parte incómoda, porque la regla da por hecho algo que no es gratis: saber qué tarea es fácil.

Decidir si una tarea es fácil es, a su vez, juicio.

Un asistente que responde sobre los datos de la empresa recibe preguntas de todos los tipos mezcladas. Si el reparto entre modelos lo hace mal, la calidad baja sin que salte ningún error, porque una respuesta equivocada de un modelo que no llegaba tiene el mismo aspecto que una correcta. Por eso en el asistente sobre Exact Synergy el reparto lo decide el código, no el modelo, y las preguntas fáciles van a un modelo pequeño mientras las que cruzan varias fuentes van al grande. Y por eso lo que dice si sigue acertando no es una opinión, es un banco de preguntas con respuesta conocida que se pasa periódicamente.

Con los sistemas de gestión llevamos décadas viendo esta misma escena. El proveedor que ofertaba la licencia más barata no era el proyecto más barato, porque lo que decidía la factura eran las horas que hacían falta para que funcionase. La tarifa por token es la licencia. El esfuerzo son las horas.

Qué preguntar antes de aprobar un piloto

Nada de esto exige entender de tokens. Exige que hagas cuatro preguntas a quien te monte la IA, sea de dentro o de fuera:

1. ¿Qué modelo y qué nivel de esfuerzo usa cada tipo de tarea, y quién lo decidió?
2. ¿Cuánto más barato por token es el modelo pequeño que el grande, y se ha hecho la cuenta con esa cifra?
3. ¿Qué tareas van con esfuerzo máximo, y se ha comprobado que el máximo mejora algo frente al nivel anterior?
4. ¿Con qué se mide que sigue acertando dentro de tres meses?

Si la respuesta a la primera es “el que viene por defecto”, tu piloto está gastando más de lo que debería y rindiendo menos de lo que podría. Y es la configuración más habitual que me encuentro, incluida la mía hasta hace no tanto.