IA de inspección industrial: cómo medir precisión y falsos rechazos

Imaginemos un lote de prueba de 10.000 piezas revisadas a fondo por calidad, de las cuales 100 son defectuosas. El sistema detecta 90 de esas 100 y además rechaza 200 piezas buenas. Ordenado en una matriz:

• Exhaustividad, también llamada recall o sensibilidad: defectos detectados entre defectos reales. 90 / 100 = 90 %.
• Precisión: defectos reales entre piezas rechazadas. 90 / 290 ≈ 31 %. Dos de cada tres rechazos son piezas buenas.
• Especificidad: piezas buenas aceptadas entre piezas buenas reales. 9.700 / 9.900 ≈ 98 %.
• Tasa de falso rechazo: el complemento de la especificidad. 200 / 9.900 ≈ 2 % de la producción buena se aparta.
• Exactitud global: (90 + 9.700) / 10.000 = 97,9 %, una cifra que suena bien y oculta los dos problemas anteriores.

Fíjate en que «precisión» tiene aquí un significado técnico concreto y no equivale a «acierto general». Cuando alguien hable de precisión conviene preguntar a cuál de estas magnitudes se refiere.

Los dos errores no son simétricos. Un falso rechazo cuesta una revisión manual, un retrabajo o una pieza desechada; se ve, porque la pieza queda en el contenedor de rechazo. Un escape llega al siguiente proceso o al cliente, y su coste puede incluir reclamaciones, devoluciones o paradas del cliente; además no se ve en el momento, y solo aflora cuando alguien lo encuentra aguas abajo.

Esa diferencia de visibilidad tiene una consecuencia práctica: en producción es fácil medir la precisión revisando el contenedor de rechazo, pero la exhaustividad exige buscar activamente los escapes, por ejemplo revisando a mano una muestra de piezas aceptadas o cruzando con las reclamaciones. Un sistema que solo se evalúa por lo que rechaza parecerá mejor de lo que es.

También influye la proporción de defectos. Con la misma exhaustividad y especificidad, si la tasa de defectos baja de una de cada cien a una de cada mil, la precisión cae mucho, porque los falsos rechazos se mantienen y los defectos reales escasean. Comparar sistemas medidos en lotes con distinta proporción de defectos lleva a conclusiones erróneas.

Los modelos suelen devolver una puntuación, y es el umbral el que la convierte en «aceptar» o «rechazar». Bajarlo encuentra más defectos y rechaza más piezas buenas; subirlo hace lo contrario. Con el mismo lote ilustrativo, tres umbrales podrían dar esto:

¿Cuál es mejor? Depende de los costes. Si un escape cuesta 400 € y un falso rechazo solo 2 € de revisión, el coste del lote sería 2.000 € con el umbral bajo, 4.400 € con el medio y 10.100 € con el alto: conviene ser estricto. Si en cambio cada falso rechazo implica desechar una pieza de 30 €, los totales pasan a 18.800 €, 10.000 € y 11.500 €, y el umbral medio resulta el más razonable. Las cifras son inventadas, pero el método es el que importa: el umbral se elige con los costes reales de cada error, no con la métrica que queda más bonita.

Una cifra global puede esconder que el sistema funciona muy bien con la referencia más frecuente y mal con otra, o que falla cuando la luz ambiente cambia por la tarde. Por eso conviene desglosar las métricas.

• Por tipo de defecto: detectar el 95 % de las manchas y el 40 % de las grietas no es lo mismo que «un 90 % de media».
• Por referencia o familia de producto, y por proveedor de material.
• Por condición de captura: turno, temperatura, estado de la iluminación, limpieza de la óptica.
• Por periodo: comparar semanas permite ver deriva antes de que se convierta en un problema.

Las variaciones de iluminación merecen una prueba explícita: repetir el conjunto de validación con la intensidad de luz reducida o con luz ambiente añadida muestra cuánto se degrada el sistema y si hace falta mejorar el aislamiento de la estación o recalibrar con más frecuencia.

Con 100 defectos en el conjunto de prueba, cada defecto equivale a un punto de exhaustividad. Si un tipo de defecto solo tiene ocho ejemplos, una sola detección más o menos mueve su métrica más de diez puntos. Las cifras basadas en pocos casos deben presentarse con esa incertidumbre, y conviene ampliar el conjunto de prueba con el tiempo, guardando los defectos reales que vayan apareciendo.

El conjunto de prueba debe además ser independiente del de entrenamiento y parecerse a la producción: lotes distintos, fechas distintas y la variabilidad normal de la planta. Medir con imágenes muy parecidas a las de entrenamiento produce números optimistas que no se repetirán.

1. Pide siempre la matriz de confusión completa, no una única cifra de acierto.
2. Comprueba que se informa por separado de la exhaustividad (escapes) y de la tasa de falso rechazo.
3. Estima el coste de un escape y de un falso rechazo, y elige el umbral con esos costes.
4. Exige métricas desglosadas por tipo de defecto, referencia y condiciones de captura.
5. Verifica que el conjunto de prueba es independiente, suficiente y representativo de la producción.
6. Prevé cómo se medirán los escapes una vez en producción, no solo los rechazos.

Ningún sistema de inspección elimina los dos tipos de error a la vez. Lo que sí puede hacerse es elegir conscientemente cuál se prefiere, cuánto se está dispuesto a revisar a mano y cómo se va a vigilar que el comportamiento se mantiene.