El campo del Machine Learning (ML) está viviendo una época dorada, con avances exponenciales y la aparición constante de nuevas aplicaciones. Desde la atención al cliente hasta el desarrollo de software, los modelos de ML se han vuelto indispensables. Sin embargo, esta rápida evolución también ha abierto la puerta a nuevas amenazas de seguridad.
Google, en colaboración con NVIDIA y HiddenLayer, y como parte de la Open Source Security Foundation, ha lanzado la primera versión estable de su librería para el firmado de modelos. ¿Qué significa esto y por qué es importante?
¿Por qué es necesario el firmado de modelos?
- Amenazas crecientes: El envenenamiento de modelos y datos, la inyección de prompts y otras vulnerabilidades son cada vez más comunes.
- Riesgos en la cadena de suministro: Los modelos son, esencialmente, colecciones de pesos opacas. Un atacante podría manipularlos, alterando su comportamiento o inyectando código malicioso.
- Necesidad de confianza: Es crucial que los usuarios puedan verificar la integridad y procedencia de los modelos que utilizan.
El proceso de desarrollo de aplicaciones de IA y sus vulnerabilidades
Las aplicaciones que utilizan modelos de IA avanzados suelen pasar por tres etapas:
- Entrenamiento del modelo base: Se entrena un modelo grande con conjuntos de datos masivos.
- Ajuste fino del modelo: Un equipo especializado ajusta el modelo para tareas específicas de la aplicación.
- Integración en la aplicación: El modelo ajustado se incorpora a la aplicación final.
Cada una de estas etapas suele estar a cargo de diferentes equipos o incluso empresas, lo que crea múltiples oportunidades para la manipulación maliciosa. Los atacantes podrían alterar los pesos del modelo, inyectar puertas traseras o incluso ejecutar código arbitrario a través de vulnerabilidades en el formato de serialización del modelo.
¿Cómo funciona el firmado de modelos?
El firmado de modelos se inspira en el firmado de código tradicional, donde un artefacto binario firmado permite a los usuarios identificar al productor y prevenir la manipulación. La librería de Google utiliza firmas digitales, similares a las de Sigstore, para que los usuarios puedan verificar que el modelo utilizado es exactamente el que crearon los desarrolladores.
Sigstore facilita el proceso de firmado al vincular un token OpenID Connect a la identidad del desarrollador, eliminando la necesidad de gestionar claves a largo plazo. Además, el firmado es transparente, lo que permite auditar las firmas de artefactos maliciosos en un registro público.
El futuro de la confianza en la IA
El firmado de modelos es solo el primer paso hacia la construcción de un ecosistema de IA más seguro y confiable. Google planea extender este enfoque a conjuntos de datos y otros artefactos relacionados con el ML, con el objetivo de crear metadatos a prueba de manipulaciones que puedan ser leídos tanto por humanos como por máquinas.
En el futuro, se espera que el proceso de firmado y verificación de modelos sea transparente, gestionado por el propio framework, sin necesidad de modificaciones en el código de entrenamiento.
Si te interesa el futuro de este proyecto, puedes unirte a las reuniones de la OpenSSF o a la Coalition for Secure AI (CoSAI), donde se está trabajando en la definición del futuro del firmado de modelos y la inclusión de metadatos a prueba de manipulaciones.