Please enable JavaScript.
Coggle requires JavaScript to display documents.
Riesgos y medidas de seguridad en aplicaciones de IA en la nube - Coggle…
Riesgos y medidas de seguridad en aplicaciones de IA en la nube
Inyección de Prompts y Fuga de Prompts del sistema
Un atacante engaña a la IA para que ejecute instrucciones maliciosas (inyección) o revele sus instrucciones internas secretas (fuga). Esto puede ocurrir directamente o a través de fuentes externas contaminadas.
Clave: La IA no distingue entre datos e instrucciones.
Mitigación: Separar claramente instrucciones del sistema del usuario, validar entradas y monitorear patrones de fuga
Divulgación de Información Sensible y Manejo Inseguro de Salidas
El modelo puede recordar y exponer datos confidenciales (contraseñas, datos personales, secretos empresariales) en sus respuestas o en los logs del sistema.
Clave: Los LLMs pueden memorizar datos del entrenamiento o del contexto
Mitigación: Filtrar salidas, cifrar logs, aplicar políticas de retención cero y control de acceso a las respuestas.
Riesgos en la Cadena de Suministro y Envenenamiento de Datos y Modelos
Un adversario introduce puertas traseras o sesgos maliciosos durante la creación del modelo (entrenamiento, fine-tuning) o mediante librerías/datasets de terceros comprometidos.
Clave: Depender de modelos o datos externos sin verificar integridad.
Mitigación: Firmas criptográficas, SBOM para modelos, escaneo de dependencias y entrenamiento adversarial para limpiar backdoors.
Exceso de Autonomía de la IA y Debilidades en Vectores y Embeddings
La IA conectada a herramientas (APIs, bases de datos) con permisos excesivos puede realizar acciones dañinas no autorizadas. Además, los embeddings pueden ser manipulados para extraer información sensible o alterar búsquedas.
Clave: Un agente IA con demasiados privilegios es un vector de ataque móvil.
Mitigación: Mínimo privilegio, supervisión humana para acciones críticas, y monitoreo de anomalías en vectores.
Desinformación y Consumo Descontrolado de Recursos
La IA puede generar contenido falso a gran escala (desinformación) o ser explotada para consumir excesivos recursos de cómputo en la nube, provocando costes inesperados o denegación de servicio.
Clave: La escalabilidad automática de la nube amplifica tanto el daño reputacional (fake news) como el financiero (factura explosiva).
Mitigación: Límites de tokens, alertas de presupuesto, watermarking de contenido y rate limiting.