Cuando el asistente deja de acertar, no te avisa nadie.
El proveedor actualiza el modelo, alguien cambia un informe, se ajusta una regla. Todo sigue respondiendo con la misma seguridad de siempre, y una parte de las respuestas ya no vale. El día que alguien se da cuenta, lleva semanas pasando.
Te respondo personalmente en menos de 48 horas en días laborables.
Nadie se plantea medir esto el primer día. Se plantea después, y suele ser por uno de estos tres caminos.
Tu proveedor actualizó el modelo en su calendario, no en el tuyo, y no te avisó porque para él es una mejora. Puede que lo sea para la mayoría de sus clientes. Lo que nadie ha comprobado es qué le ha hecho a las preguntas concretas que hace tu equipo todos los días.
Una persona del equipo lo nota, otra dice que le sigue funcionando igual. Es una impresión contra otra impresión, así que la conversación acaba decidiéndola quien tiene más autoridad en la sala y no quien tiene razón. Y mientras tanto la confianza en la herramienta se va cayendo sola.
Se le añadió una columna, se cambió el criterio de un campo, se redefinió un indicador. Cambios pequeños y razonables, cada uno con su motivo. Nadie sabe qué respuestas dependían de eso, porque esa relación no está escrita en ninguna parte.
En los tres casos el problema no es que algo falle. Es que falla sin hacer ruido, y lo que no hace ruido no se arregla.
¿Te ves en alguna de las tres? Cuéntamelo y vemos si merece la pena medirlo.
Hablamos →Lo que no se mide se degrada en silencio
La intuición dice que si algo se rompe, se nota. Con un asistente no funciona así, y conviene entender por qué antes de decidir si esto te hace falta.
01El proveedor actualiza en su calendario, no en el tuyo
El modelo que hay debajo de tu asistente no es una versión congelada: se sustituye, se ajusta y se retira según los planes de quien lo publica. Cuando eso pasa, tú no recibes una nota de versión con la lista de lo que ha cambiado en tus respuestas, porque esa lista no existe. Nadie la ha hecho, y solo se puede hacer con tus preguntas.
02Un fallo silencioso no genera ninguna queja
Y esa es la parte peligrosa, porque la ausencia de quejas se lee como que va bien. Cuando el asistente devuelve un dato equivocado con el mismo aplomo con el que devuelve uno correcto, el usuario no protesta: se lo cree y sigue. La queja llega meses después, y llega en forma de decisión tomada sobre un número que no era.
03Un número sin su suelo de ruido no significa nada
Dos pasadas idénticas sobre el mismo asistente no dan exactamente el mismo resultado. Si no sabes cuánta variación hay entre dos tiradas iguales, no puedes saber si una caída del cuatro por ciento es una degradación real o es el propio ruido de la medida. Medir sin conocer ese suelo produce falsas alarmas y, lo que es peor, falsas tranquilidades.
04Si hay dos modelos, son dos mediciones
Cada vez más instalaciones reparten el trabajo: una parte por un modelo instalado en casa, otra por uno en la nube. Son dos caminos con comportamientos distintos, y un resultado de uno no dice nada del otro. Se miden por separado, porque un cambio en cualquiera de los dos puede llevarse la mitad de las respuestas sin que el número global se mueva casi nada.
De aquí sale todo lo demás: si el fallo no hace ruido, la única forma de enterarse es preguntarle al asistente, cada cierto tiempo, las mismas preguntas cuya respuesta ya conoces.
Si tienes un asistente en marcha y nadie ha comprobado nunca si sigue acertando, esa comprobación es más barata antes de que haga falta que después.
Mídelo una vez →Es un procedimiento prestado del control de calidad de software de toda la vida, lo que ahí se llama pruebas de regresión, aplicado a un sistema que responde con lenguaje en vez de con código. Su valor está en lo que hace imposible: ajustar el criterio después de ver el resultado.
Entre treinta y cincuenta preguntas reales de las que tu equipo hace de verdad, cada una con una respuesta que se puede verificar contra su origen. Si el responsable del área no sabe enumerarlas, ahí hay un problema anterior al asistente y es mejor saberlo en esta conversación que tres meses después.
Qué se considera una respuesta correcta, qué es una respuesta aceptable y qué es un fallo se decide y se firma antes de correr nada. Si eso se ajusta cuando ya se ha visto el resultado, deja de ser un criterio y pasa a ser una justificación.
Varias pasadas idénticas, no una. Lo que se entrega no es un número suelto: es el número y cuánto se mueve por sí solo entre tiradas iguales. Sin eso, la siguiente medición no se puede comparar con nada.
Si hay dos modelos, dos mediciones separadas. Y queda escrito cuándo la línea base deja de valer y hay que rehacerla entera: cuando cambia el modelo, cuando el perímetro de información se mueve de forma sustancial, o cuando cambia una convención del negocio.
Hay dos formas de entrar, según de dónde vengas, y el entregable es el mismo en las dos.
La primera medición
Es el punto de partida y funciona como trabajo suelto. No exige que me hayas contratado nada antes ni que el asistente sea mío.
Qué se hace
Se enumeran las preguntas reales, con su respuesta verificable
Se escribe y se aprueba el criterio de corrección antes de medir
Se mide la línea base con varias pasadas, no con una
Se separa por camino cuando hay más de un modelo
Se documenta con qué modelo, qué versión y qué fecha se midió
Sobre qué asistente
Sobre el que tengas. Un asistente comercial que ya usa el equipo, uno montado a medida por otro proveedor, o el Asistente IA para Synergy si eres cliente mío. En ese último caso la primera medición ya va incluida en la implantación, así que para ti esto empieza en la segunda pasada.
Lo que queda por escrito
Tres cosas, y la primera es tuya para siempre, aunque dejes de trabajar conmigo.
El entregable
El banco de preguntas con sus respuestas verificadas. Es tuyo y te sirve con cualquier proveedor
La línea base medida, con su suelo de ruido y las condiciones en que se midió
El criterio escrito de cuándo hay que rehacer la línea base entera
El resultado de cada pasada posterior y qué se movió respecto de la anterior
Y después
La pasada periódica se contrata aparte, cuando ya tienes la línea base delante y sabes para qué sirve. No se vende antes, porque antes de la primera medición nadie puede saber cuánto se mueve su asistente.
Es la primera objeción, y es razonable. Conviene ver qué cubre de verdad cada una, porque tres de las cuatro columnas suenan a que ya lo resuelven.
| Lo que necesitas | Tu contrato de soporte | La monitorización del proveedor | Esperar a que alguien se queje | Este trabajo |
|---|---|---|---|---|
| Saber si el asistente sigue acertando | No, cubre que funcione | No, vigila que responda | Solo si el fallo hace ruido | Sí, sobre tus preguntas |
| Detectar una degradación silenciosa | No | No | No, por definición | Sí, es su objeto |
| Enterarte cuando cambie el modelo | No | A veces, con retraso | No | En la siguiente pasada |
| Distinguir una caída real del ruido | No aplica | No aplica | No | Sí, con el suelo medido |
| Qué te llevas por escrito | Un tiempo de respuesta | Un panel de disponibilidad | Nada | El banco, la línea base y su criterio |
El soporte y la monitorización hacen bien lo suyo, que es que el sistema esté en pie y conteste rápido. Ninguna de las dos mira si lo que contesta es correcto, porque para eso hay que saber cuál era la respuesta buena, y eso solo lo sabe tu negocio.
Implantando sistemas de gestión en empresas medianas. Empecé en Múnich, en el departamento de IT de Epson Europe, y desarrollé una parte fundamental de mi carrera como consultor senior en Exact.
Implantaciones completas, optimizaciones, rescates de proyectos en curso y dirección desde el lado del cliente. Sé lo que cuesta que una empresa vuelva a confiar en una herramienta que le ha fallado una vez.
He construido y opero un asistente sobre mi propio negocio, con su banco de pruebas y sus pasadas periódicas. Lo que propongo aquí es exactamente lo que uso para saber que el mío sigue en pie.
Cuando me contratas trabajas directamente conmigo. Sin gestores de cuenta, sin juniors, sin escalar consultas.
Si tienes un asistente funcionando y quieres saber si sigue acertando antes de que alguien se lleve un disgusto, hablemos.
Mídelo una vez →No, y prefiero decirlo aquí y no en la conversación de renovación. Tu soporte anual cubre las incidencias técnicas del asistente: que esté caído, que devuelva errores, que se rompa una integración. La primera medición sí va incluida en la implantación, dentro de la fase de validación. Las pasadas periódicas posteriores se contratan aparte, porque son trabajo de calendario y no de avería.
Sí, y es el caso más habitual de esta página. No necesito acceso al interior del sistema ni saber cómo está construido. Necesito poder hacerle preguntas y poder verificar las respuestas contra su origen, que es lo mismo que hace un usuario.
Ayuda, pero no sustituye a esto por dos razones. Una, que probar sin criterio escrito y sin las mismas preguntas cada vez no produce nada comparable, así que no puedes saber si ha empeorado. Y dos, que el fallo que importa es justo el que la persona no ve, porque una respuesta equivocada tiene el mismo aspecto que una correcta.
Entre treinta y cincuenta suele ser el orden de magnitud útil. Las pone tu negocio, porque son las que tu equipo hace de verdad, y yo ayudo a formularlas de manera que la respuesta se pueda verificar. Si al enumerarlas resulta que nadie sabe cuál sería la respuesta correcta, eso también es un resultado y conviene verlo pronto.
Depende de cuánto se mueva tu instalación, y por eso el calendario se decide con la línea base delante y no antes. Lo que sí es fijo son los tres momentos en que hay que medir sí o sí: cuando cambia el modelo, cuando se mueve de forma sustancial la información que el asistente puede leer, y cuando cambia una convención del negocio.
Entonces ya tienes una línea base, que es justamente lo que hoy no tienes, y la próxima vez la comparación cuesta una fracción de lo que ha costado esta. La primera medición vale sobre todo por eso: no por el número que sale, sino porque a partir de ella existe algo con lo que comparar.
No. Una auditoría comprueba si cumples una normativa y produce un informe de cumplimiento. Esto mide si tu asistente sigue contestando lo que contestaba. Son preguntas distintas y ninguna sustituye a la otra.
Cuéntame qué asistente tienes en marcha y qué le pregunta tu equipo todos los días. Vemos si esas preguntas se pueden verificar y qué haría falta para tener una línea base. Sin compromiso y sin formularios largos.
Mídelo una vez →Te respondo personalmente en menos de 48 horas en días laborables. También puedes escribirme directamente o conectar conmigo en LinkedIn.