ESP-IA: la nueva metodología del CCN para evaluar la seguridad de productos con IA

Un asistente que revela información de otro usuario o un agente que ejecuta una acción no autorizada plantea un problema de seguridad del producto, no solo de calidad de la respuesta. Evaluarlo exige analizar cómo interactúan los modelos, los datos, las herramientas y los permisos.

Para dar respuesta a esa necesidad, el Centro Criptológico Nacional (CCN) ha publicado la metodología ESP-IA (CCN-STIC 2011), la Metodología de Evaluación de Seguridad de Productos - Inteligencia Artificial. Si vuestro producto incorpora modelos, agentes o funcionalidades de IA, conviene conocer qué documentación, accesos y pruebas requiere antes de planificar la evaluación.

Podéis ver el desglose completo en nuestra guía de CCN-STIC 2011.

Qué evalúa ESP-IA (y qué no)

ESP-IA se centra en las vulnerabilidades cuya materialización depende de mecanismos específicos de IA: inferencia, aprendizaje, adaptación, contexto o estado, representación aprendida o acciones mediadas por una funcionalidad de IA.

La frontera es clara: si al sustituir el componente de IA por software convencional la vulnerabilidad y el procedimiento de prueba serían esencialmente los mismos, esa vulnerabilidad queda con carácter general fuera del alcance específico de ESP-IA. El alcance se concreta sobre la versión y configuración declaradas del producto, no equivale a garantizar la ausencia de cualquier riesgo de IA.

Cómo decide qué requisitos exige a vuestro producto

Aquí está la clave de la metodología, y lo que la diferencia de un listado fijo de requisitos:

1. El fabricante describe la arquitectura del producto: interfaces, modelos de IA, conjuntos de datos, servicios y herramientas, y cómo se relacionan entre sí.

2. Responde a las preguntas de caracterización (C01 a C21) sobre las capacidades de su IA: si un actor externo controla entradas, si la IA interpreta instrucciones, si puede ejecutar acciones con consecuencias relevantes, si usa herramientas o APIs externas, si aprende después del despliegue…

3. La matriz de aplicabilidad traduce esas respuestas en amenazas, políticas y Requisitos Funcionales de Seguridad (RFS) aplicables. Por ejemplo, C01 y C03 afirmativas hacen aplicable la protección frente a inyección directa solo si la entrada controlable llega al modelo que interpreta instrucciones. Se aplican todas las reglas que cumplen sus condiciones.

   Por ejemplo, un asistente de IA que consulta documentación interna y utiliza herramientas externas puede estar sujeto a requisitos relacionados con la inyección de instrucciones, la divulgación de información y la ejecución de acciones no autorizadas. La aplicabilidad concreta dependerá de sus capacidades, interfaces y configuración, no simplemente de incorporar un modelo de IA.

4. El laboratorio verifica cada RFS con pruebas y, además, ejecuta pruebas de penetración específicas de IA.

En total, ESP-IA define 27 RFS: 22 derivados de amenazas (evasión, inyección, extracción, pertenencia, inversión, envenenamiento, divulgación, agencia y agotamiento de recursos) y 5 derivados de políticas (supervisión humana de acciones críticas y trazabilidad).

Eso sí: las respuestas describen hechos del producto, no vulnerabilidades. Que un RFS sea aplicable no significa que el producto sea vulnerable, sino que hay una propiedad que verificar con pruebas. No se exigen necesariamente los 27 requisitos a todos los productos. Los controles existentes tampoco eliminan requisitos aplicables: se documentan y se prueban.

Cómo se desarrolla la evaluación

El proceso se apoya en tres actores: solicitante o fabricante, laboratorio de evaluación acreditado y autorizado por el CCN y el propio CCN, que valida la Declaración de Seguridad y emite el resultado final.

La evaluación consta de cinco etapas:

• Análisis de la Declaración de Seguridad (DS), elaborada conforme al Anexo A y validada previamente por CPSTIC.
• Acceso y configuración del entorno de pruebas sobre la versión declarada del producto.
• Verificación de los RFS aplicables, con pruebas funcionales, adversariales o de penetración.
• Pruebas de penetración adicionales, con un mínimo de tres días-persona y la OWASP AI Testing Guide como referencia mínima.
• Informe Técnico de Evaluación (ITE) conforme al Anexo B.

Los tres días-persona son el esfuerzo mínimo de esa etapa adicional, no el plazo de toda la evaluación. Antes también deben verificarse los requisitos aplicables.

El veredicto es PASA solo si todos los RFS aplicables pasan, no hay no conformidades y las pruebas de penetración no identifican vulnerabilidades específicas de IA que comprometan la seguridad del producto. En cualquier otro caso, FALLA.

Qué debe ir preparando el fabricante

Para preparar una evaluación, conviene tener en cuenta cuatro áreas. La guía no establece por sí sola una obligación general de evaluar cualquier producto con IA para vender a la Administración:

1. Mapa de la funcionalidad IA: qué hace la IA del producto, con qué datos, a través de qué interfaces y con qué herramientas o sistemas externos.
2. Respuestas de caracterización trabajadas internamente: de ellas depende el conjunto de RFS que acabará siendo aplicable.
3. Observabilidad: registros de la actividad de la IA, protección del estado persistente y capacidad de intervenir acciones críticas, cuando las reglas de la matriz hagan aplicables esos requisitos.
4. Entorno de evaluación: versión y configuración del producto, documentación técnica, guías de uso y configuración, accesos y medios necesarios para ejecutar las pruebas.

Cómo puede ayudar CYBSER

En CYBSER nos encargamos de todo el proceso: caracterización del producto, redacción de la Declaración de Seguridad, determinación de los RFS aplicables, ejecución de las pruebas y elaboración del Informe Técnico de Evaluación para su revisión por el CCN. Vuestro equipo aporta los datos, accesos y correcciones del producto que solo puede realizar el fabricante.

¿Vuestro producto incorpora IA y necesitáis una evaluación ESP-IA? En CYBSER realizamos evaluaciones de seguridad de productos con IA conforme a la metodología CCN-STIC 2011. Contadnos vuestro caso y os ayudaremos a determinar el alcance, los requisitos aplicables y los pasos necesarios para llevar a cabo la evaluación.