Responsabilidad y limitaciones de la inteligencia artificial

• Inexactitud: un modelo puede producir respuestas convincentes pero falsas, o extraer mal un dato de un documento.
• Sesgo: los resultados pueden reflejar desequilibrios de los datos con que se entrenó o evaluó el modelo.
• Incompletitud: puede omitir información relevante o no reconocer que una pregunta queda fuera de lo que sabe.
• Variabilidad: el mismo modelo puede responder de forma distinta ante entradas parecidas, y un cambio de versión del proveedor puede alterar su comportamiento.
• Manipulación: las entradas maliciosas pueden intentar desviar el comportamiento de un sistema basado en modelos de lenguaje.

El nivel de control depende de las consecuencias de un error. No es lo mismo sugerir una categoría para un documento que una persona revisará después que decidir automáticamente sobre una solicitud. Al diseñar un sistema conviene definir con el cliente:

• Un conjunto de pruebas representativo y métricas de evaluación acordadas antes del despliegue.
• Qué decisiones requieren revisión o aprobación humana y quién la realiza.
• Umbrales a partir de los cuales el sistema deriva un caso a una persona en lugar de resolverlo.
• Trazas de entrada, salida, versión de modelo y revisor para poder reconstruir un resultado.
• Cómo se comunica y corrige un error detectado en producción.

Los compromisos de cada parte (qué se entrega, con qué criterios de aceptación, qué supervisión se mantiene y quién responde ante qué) se definen en el contrato del proyecto y conforme a la normativa aplicable, incluido, cuando corresponda, el Reglamento europeo de inteligencia artificial. Su encaje en un caso concreto debe analizarse con el cliente y su asesoría.