Diagnóstico de fiabilidad de IA

Qué trabajo puede hacer tu IA sin que nadie lo mire, y qué no.

Tu equipo ya está usando inteligencia artificial. La pregunta que todavía no ha contestado nadie con un dato es hasta dónde se le puede soltar la mano. Esto no es un taller ni una sesión de estrategia, es una medida sobre las tareas reales de tu empresa, con un veredicto para cada una. Y cuando la respuesta es que ahí la IA no aporta nada, también se dice.

Cuéntame tu caso

Te respondo personalmente en menos de 48 horas en días laborables.

¿Te suena alguna de estas situaciones?

Por qué se acaba necesitando medir esto

Las empresas que llegan a esta conversación no llegan por el mismo camino. Suele ser uno de estos tres.

SITUACIÓN 1

Estáis decidiendo qué automatizar y cada uno opina distinto

El proveedor dice que casi todo. El más escéptico del comité dice que nada. El resto tiene una intuición formada por lo que ha ido leyendo. Nadie trae un dato sobre vuestras tareas reales, así que la decisión acaba tomándola quien habla más fuerte o quien tiene interés comercial en el resultado.

SITUACIÓN 2

Ya se está usando por libre y no sabéis qué está saliendo bien

Alguien resume actas, otro redacta ofertas, otro cuadra cifras. Lo que se ve son las respuestas, y todas parecen correctas. Los errores que de verdad importan no se ven, porque una suma mal hecha tiene exactamente el mismo aspecto que una bien hecha.

SITUACIÓN 3

Tenéis que dejar por escrito dónde hay supervisión humana y no sabéis con qué criterio

La norma obliga a declararlo. Todo el mundo explica que hay que hacerlo y nadie explica cómo se decide. El resultado habitual es poner revisión humana en todo, que es la forma elegante de no haber decidido nada, y que además convierte la revisión en un trámite que a las tres semanas ya no mira nadie.

En las tres falta lo mismo. No una herramienta más, ni otra opinión: una medida sobre vuestro trabajo real.

¿Te ves en alguna de las tres? Cuéntamelo y vemos cuál es tu caso.

Hablamos

Lo que he aprendido midiéndolo

Por qué el porcentaje de acierto no es lo que decide

La conversación habitual sobre fiabilidad gira alrededor de si la IA acierta mucho o poco. Es la pregunta equivocada, y llevar años midiendo sistemas de gestión enseña por qué.

01Lo que decide es si el fallo se ve

Un formato mal cerrado se ve. Un valor fuera de una lista cerrada se ve. Una suma mal hecha, no. Una cita inventada, tampoco. Por eso un 85 por ciento con fallo visible vale más que un 92 por ciento con fallo invisible, y no es una paradoja: el primero se blinda con diez líneas de código que comprueban la salida antes de usarla, y el segundo te lo comes entero.

02Un trabajo cuyo fallo no se ve nunca sube de que lo mire alguien

Saque la nota que saque. No es pesimismo, es que el número no es lo que decide si puedes dejarlo desatendido. Y es justo el punto donde se tuercen la mayoría de las adopciones, porque lo que más brillante parece suele ser lo que peor se comprueba.

03Casi siempre el nivel que resuelve el problema está por debajo del que te ofrecen

Muchas empresas pagan por lo más vistoso cuando su caso se cierra con algo bastante más sencillo, y a veces sin IA de por medio. Decirlo cuesta dinero a corto plazo, sin embargo, es la razón por la que los clientes vuelven.

La conclusión de este trabajo no es una nota global. Es saber qué puedes soltar, qué tienes que atar y qué conviene que no toques todavía.

Si esta forma de mirar la fiabilidad encaja con cómo piensas las decisiones de tu empresa, hablémoslo cuanto antes.

Cuéntame tu caso
Cómo trabajo

Cómo se mide esto sin que el resultado sea una opinión disfrazada

El método es el mismo que uso en mi propio laboratorio, y su valor está en lo que hace imposible: que el resultado se ajuste después para que salga bonito.

01

Empiezo por el trabajo, no por el modelo

Primero enumeramos las tareas concretas que tu equipo le está encargando o quiere encargarle a la IA. No categorías genéricas, tareas con nombre y con un resultado que se pueda comprobar. Si una tarea no tiene respuesta verificable, no se puede medir, y eso también hay que decirlo.

02

Los umbrales se escriben y se aprueban antes de medir

Qué nota hace falta para cada veredicto se decide y se firma antes de correr nada. Si los umbrales se ajustan cuando ya se ha visto el resultado, dejan de ser umbrales y pasan a ser una justificación.

03

Cada cosa se mide tres veces, no una

Entre dos pasadas idénticas hay variación, y la media sola esconde justo lo que interesa. Tres tiradas por separado distinguen lo que va bien casi siempre de lo que puedes dejar solo, que no es lo mismo.

04

Lo que entrego son escalones, no notas

Un 68 por ciento no se aplica a nada. Lo que se aplica al día siguiente es hasta treinta filas sí, por encima no. Ese es el formato del resultado, porque es el que sirve para decidir.

Qué te llevas

Un veredicto por cada tarea, con su condición

El entregable no es un informe de situación ni un plan a tres años. Es una tabla que alguien puede tener delante mientras decide qué encarga y qué no.

Entra

Qué se mide

Las tareas reales de tu empresa, sobre la IA que ya estás usando o sobre la que estás evaluando.

Qué se pone a prueba

Seguir instrucciones y respetar un formato

Rellenar una estructura de datos sin salirse de ella

Elegir la herramienta correcta, y abstenerse cuando ninguna aplica

Encontrar un dato dentro de un documento largo

Hacer cuentas sobre una tabla, separando lo que selecciona de lo que calcula

Clasificar en un conjunto cerrado de etiquetas

Decir que no lo sabe en vez de inventárselo

Redactar dentro de un idioma, una longitud y unos hechos dados

Sobre qué IA

La que ya tenéis. Un asistente comercial de los que se usan a diario, un modelo instalado en vuestra máquina, o los dos, que es cada vez más frecuente.

Sale

El veredicto

Cuatro respuestas posibles para cada tarea, y ninguna de ellas es un porcentaje.

Los cuatro veredictos

Encárgaselo. Trabajo desatendido, nadie tiene que mirarlo

Encárgaselo con red. Una comprobación automática valida la salida antes de usarla

Solo con revisión. Lo hace, pero alguien lo mira. Aquí viven todos los trabajos cuyo fallo no se ve

No se lo encargues. Fuera, y con el motivo escrito

Y además

Los escalones de cada tarea (hasta dónde sí y a partir de dónde no) y, cuando toca, la comprobación concreta que hay que poner alrededor para que un veredicto suba de nivel.

¿No tienes claro si tus tareas se pueden medir así? Cuéntame cuáles son y te lo digo antes de que contrates nada. →

Frente a las alternativas

En qué se parece y en qué no a lo que ya te han ofrecido

Hay varias formas de resolver esta duda, y conviene saber qué te da cada una antes de elegir. Sobre todo porque dos de ellas se anuncian con nombres parecidos.

Lo que necesitasSesión de estrategia de IAAuditoría de cumplimientoProbar y ver qué pasaEste diagnóstico
Saber qué tareas puedes delegarUna recomendación informadaNo es su objetoSensación, no datoSí, tarea por tarea
Con qué red hay que envolver cada unaNormalmente no entraNo entraSe descubre fallandoSí, con la comprobación concreta
Saber si cumples la normaNoSí, es su objetoNoNo, y no lo pretende
Dato reproducible detrásCriterio del consultorRevisión documentalNingunoTres tiradas y umbrales previos
Qué te llevas por escritoUn plan y unas prioridadesUn informe de cumplimientoNadaUn veredicto por tarea con sus escalones

Una auditoría de cumplimiento y este diagnóstico no compiten, contestan preguntas distintas. La primera dice si cumples una norma. Ésta dice qué trabajo puedes delegar y con qué condiciones. Si necesitas las dos cosas, necesitas las dos.

¿Ya te han ofrecido alguna de las tres y no sabes si te resuelve lo que necesitas? Cuéntamelo y te oriento. →

Por qué este enfoque

Criterio de gestión, no entusiasmo tecnológico

25+ años

Implantando sistemas de gestión en empresas medianas. Empecé en Múnich, en el departamento de IT de Epson Europe, y desarrollé una parte fundamental de mi carrera como consultor senior en Exact.

50+ proyectos

Implantaciones completas, optimizaciones, rescates de proyectos en curso y dirección desde el lado del cliente. Sé cómo se comporta una empresa cuando le cambias una herramienta, que es la mitad del problema.

1 sistema propio

He construido y opero un sistema de IA sobre mi propio negocio, que me contesta todos los días. No hablo de inteligencia artificial en abstracto, hablo de lo que se rompe cuando la pones a funcionar de verdad.

0 intermediarios

Cuando me contratas trabajas directamente conmigo. Sin gestores de cuenta, sin juniors, sin escalar consultas.

Si lo que buscas es alguien que te diga qué delegar y qué no, con un dato detrás y sin venderte el nivel más caro, hablemos.

Cuéntame tu caso
Preguntas habituales

Lo que me preguntan antes de empezar

¿Esto sirve para la IA que ya usamos, o solo para modelos instalados en casa?

Para las dos. El caso más habitual es justo el primero, un asistente comercial que el equipo ya está usando y sobre el que nadie ha decidido nada por escrito. Si tenéis además un modelo instalado en vuestra máquina, se mide por separado, porque no se comportan igual y mezclar los resultados no dice nada.

¿Es lo mismo que una auditoría de IA?

No, y conviene no confundirlas porque se anuncian parecido. Una auditoría de IA comprueba si cumples una normativa y produce un informe de cumplimiento. Este diagnóstico no mira la norma: mira tus tareas y dice cuáles puede hacer la IA sola, cuáles necesitan una comprobación automática y cuáles tiene que mirar una persona.

¿Me sirve para justificar dónde ponemos supervisión humana?

Como fundamento técnico de la decisión, sí, y es una de las razones por las que las empresas lo piden ahora. Lo que no es, es un dictamen jurídico. Yo te doy la medida de qué tareas fallan de forma que nadie lo note, que es lo que hace falta para decidir con criterio dónde tiene que haber una persona mirando. La validación legal la hace tu asesoría.

¿Necesito tener Exact Synergy o algún sistema concreto?

No. Esta es la página de la línea de IA que no depende de ningún sistema. Mido lo que le encargas a la inteligencia artificial, no lo que tienes debajo.

¿Cuánto dura y qué me llevo exactamente?

Es un trabajo corto y acotado, de días, no de meses. Empieza con una conversación para enumerar las tareas y termina con la tabla de veredictos, sus escalones y las comprobaciones recomendadas. El alcance y el precio se cierran después de esa primera conversación, cuando ya sabemos cuántas tareas hay y de qué tipo son.

¿Y si el resultado es que para eso no me conviene usar IA?

Entonces te lo digo, y es un resultado tan útil como el contrario. He visto pagar por sistemas complicados problemas que se cerraban con un informe bien hecho. Saber dónde no meterse ahorra bastante más de lo que cuesta averiguarlo.

¿Esto caduca?

Sí, y es importante saberlo antes. El día que cambie el modelo que hay debajo, o la versión que usa tu proveedor, los veredictos dejan de ser fiables y hay que volver a medir la línea base. No es un defecto del método, es cómo funciona esto. Por eso el resultado se entrega con la fecha y con las condiciones en las que se midió.

El primer paso es una conversación

Cuéntame qué le está encargando tu equipo a la inteligencia artificial y qué te gustaría encargarle. Vemos si tiene sentido medirlo y qué saldría de hacerlo. Sin compromiso y sin formularios largos.

Cuéntame tu caso

Te respondo personalmente en menos de 48 horas en días laborables. También puedes escribirme directamente o conectar conmigo en LinkedIn.

Esta página forma parte de IA Aplicada. Ver todo IA Aplicada →