Temario del curso
Día 1: Fundamentos y Amenazas Principales
Módulo 1: Introducción al Proyecto de Seguridad para IA Generativa de OWASP (1 hora)
Objetivos de Aprendizaje:
- Comprender la evolución desde las Top 10 de OWASP hacia los desafíos de seguridad específicos de la IA Generativa
- Explorar el ecosistema y recursos del Proyecto de Seguridad para IA Generativa de OWASP
- Identificar las diferencias clave entre la seguridad de aplicaciones tradicionales y la seguridad de IA
Temas Cubiertos:
- Descripción general de la misión y el alcance del Proyecto de Seguridad para IA Generativa de OWASP
- Introducción al marco Threat Defense COMPASS
- Comprensión del panorama de seguridad de IA y los requisitos regulatorios
- Superficies de ataque de la IA frente a vulnerabilidades de aplicaciones web tradicionales
Ejercicio Práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas
Módulo 2: Las Top 10 de OWASP para LLM - Parte 1 (2.5 horas)
Objetivos de Aprendizaje:
- Dominar las cinco vulnerabilidades críticas iniciales de los LLM
- Comprender vectores de ataque y técnicas de explotación
- Aplicar estrategias prácticas de mitigación
Temas Cubiertos:
LLM01: Inyección de Indicaciones (Prompt Injection)
- Técnicas de inyección directa e indirecta de indicaciones
- Ataques con instrucciones ocultas y contaminación cruzada entre indicaciones
- Ejemplos prácticos: Jailbreaking (romper restricciones) de chatbots y evasión de medidas de seguridad
- Estrategias de defensa: Sanitización de entradas, filtrado de indicaciones, privacidad diferencial
LLM02: Divulgación de Información Sensible
- Extracción de datos de entrenamiento y filtración de las indicaciones del sistema
- Análisis del comportamiento del modelo para exposición de información sensible
- Implicaciones de privacidad y consideraciones de cumplimiento regulatorio
- Mitigación: Filtrado de salidas, controles de acceso, anonimización de datos
LLM03: Vulnerabilidades de la Cadena de Suministro
- Dependencias de modelos de terceros y seguridad de plugins
- Conjuntos de datos de entrenamiento comprometidos y envenenamiento de modelos
- Evaluación de riesgos de proveedores para componentes de IA
- Prácticas seguras de implementación y verificación de modelos
Ejercicio Práctico: Laboratorio hands-on que demuestra ataques de inyección de indicaciones contra aplicaciones LLM vulnerables e implementación de medidas defensivas
Módulo 3: Las Top 10 de OWASP para LLM - Parte 2 (2 horas)
Temas Cubiertos:
LLM04: Envenenamiento de Datos y Modelos
- Técnicas de manipulación de datos de entrenamiento
- Modificación del comportamiento del modelo mediante entradas envenenadas
- Ataques de puerta trasera y verificación de la integridad de los datos
- Prevención: Pipelines de validación de datos, seguimiento de procedencia
LLM05: Manejo Inadecuado de la Salida
- Procesamiento inseguro del contenido generado por LLM
- Inyección de código a través de salidas generadas por IA
- Cross-site scripting (XSS) mediante respuestas de IA
- Marcos de validación y sanitización de salidas
Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salida
Módulo 4: Amenazas Avanzadas de LLM (1.5 horas)
Temas Cubiertos:
LLM06: Agencia Excesiva
- Riesgos de toma de decisiones autónoma y violaciones de límites
- Gestión de autoridad y permisos del agente
- Interacciones no deseadas con el sistema y escalada de privilegios
- Implementación de barreras de seguridad (guardrails) y controles de supervisión humana
LLM07: Filtración de Indicaciones del Sistema (System Prompt Leakage)
- Vulnerabilidades de exposición de instrucciones del sistema
- Divulgación de credenciales y lógica a través de indicaciones
- Técnicas de ataque para extraer indicaciones del sistema
- Aseguramiento de instrucciones del sistema y configuración externa
Ejercicio Práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo apropiados
Día 2: Amenazas Avanzadas e Implementación
Módulo 5: Amenazas Emergentes de IA (2 horas)
Objetivos de Aprendizaje:
- Comprender las amenazas de seguridad de IA más avanzadas
- Implementar técnicas avanzadas de detección y prevención
- Diseñar sistemas de IA resilientes frente a ataques sofisticados
Temas Cubiertos:
LLM08: Debilidades en Vectores y Embebidos (Embeddings)
- Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales
- Envenenamiento de embebidos y ataques de manipulación de similitud
- Ejemplos adversarios en búsqueda semántica
- Aseguramiento de almacenes vectoriales e implementación de detección de anomalías
LLM09: Desinformación y Fiabilidad del Modelo
- Detección y mitigación de alucinaciones (hallucinations)
- Amplificación de sesgos y consideraciones de equidad
- Mecanismos de verificación de hechos y fuentes
- Validación de contenido e integración de supervisión humana
LLM10: Consumo Sin Límites
- Agotamiento de recursos y ataques de denegación de servicio (DoS)
- Estrategias de limitación de tasa y gestión de recursos
- Optimización de costos y controles presupuestarios
- Sistemas de monitoreo de rendimiento y alertas
Ejercicio Práctico: Construcción de una tubería (pipeline) RAG segura con protección de base de datos vectorial y detección de alucinaciones
Módulo 6: Seguridad de la IA Agenica (Agentic AI Security) (2 horas)
Objetivos de Aprendizaje:
- Comprender los desafíos únicos de seguridad de los agentes de IA autónomos
- Aplicar la taxonomía OWASP para IA Agenica a sistemas del mundo real
- Implementar controles de seguridad para entornos multiagente
Temas Cubiertos:
- Introducción a la IA Agenica y sistemas autónomos
- Taxonomía de Amenazas OWASP para IA Agenica: Diseño del Agente, Memoria, Planificación, Uso de Herramientas, Despliegue
- Riesgos de coordinación y seguridad en sistemas multiagente
- Mal uso de herramientas, envenenamiento de memoria y ataques de secuestro de objetivos
- Aseguramiento de la comunicación y procesos de toma de decisiones del agente
Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía OWASP para IA Agenica en un sistema de servicio al cliente multiagente
Módulo 7: Implementación de OWASP Threat Defense COMPASS (2 horas)
Objetivos de Aprendizaje:
- Dominar la aplicación práctica de Threat Defense COMPASS
- Integrar la evaluación de amenazas de IA en los programas de seguridad organizacional
- Desarrollar estrategias integrales de gestión de riesgos de IA
Temas Cubiertos:
- Análisis profundo de la metodología Threat Defense COMPASS
- Integración del ciclo OODA: Observar, Orientar, Decidir, Actuar
- Mapeo de amenazas a marcos MITRE ATT&CK y ATLAS
- Construcción de Paneles de Estrategia de Resiliencia ante Amenazas de IA
- Integración con herramientas y procesos de seguridad existentes
Ejercicio Práctico: Evaluación completa de amenazas utilizando COMPASS para un escenario de implementación de Microsoft Copilot
Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)
Objetivos de Aprendizaje:
- Diseñar arquitecturas de IA seguras desde cero
- Implementar monitoreo y respuesta a incidentes para sistemas de IA
- Crear marcos de gobernanza para la seguridad de IA
Temas Cubiertos:
Ciclo de Desarrollo Seguro de IA:
- Principios de seguridad por diseño para aplicaciones de IA
- Prácticas de revisión de código para integraciones LLM
- Metodologías de prueba y escaneo de vulnerabilidades
- Seguridad en el despliegue y endurecimiento (hardening) en producción
Monitoreo y Detección:
- Requisitos de registro (logging) y monitoreo específicos para IA
- Detección de anomalías para sistemas de IA
- Procedimientos de respuesta a incidentes para eventos de seguridad en IA
- Técnicas forenses y de investigación
Gobernanza y Cumplimiento:
- Marcos y políticas de gestión de riesgos de IA
- Consideraciones de cumplimiento regulatorio (GDPR, Ley de IA, etc.)
- Evaluación de riesgos de terceros para proveedores de IA
- Capacitación en conciencia de seguridad para equipos de desarrollo de IA
Ejercicio Práctico: Diseñar una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes
Módulo 9: Herramientas y Tecnologías (1 hora)
Objetivos de Aprendizaje:
- Evaluar e implementar herramientas de seguridad de IA
- Comprender el panorama actual de soluciones de seguridad de IA
- Construir capacidades prácticas de detección y prevención
Temas Cubiertos:
- Ecosistema de herramientas de seguridad de IA y panorama de proveedores
- Herramientas de seguridad de código abierto: Garak, PyRIT, Giskard
- Soluciones comerciales para seguridad y monitoreo de IA
- Patrones de integración y estrategias de despliegue
- Criterios de selección de herramientas y marcos de evaluación
Ejercicio Práctico: Demostración práctica de herramientas de prueba de seguridad de IA y planificación de implementación
Módulo 10: Tendencias Futuras y Cierre (1 hora)
Objetivos de Aprendizaje:
- Comprender amenazas emergentes y futuros desafíos de seguridad
- Desarrollar estrategias de aprendizaje continuo y mejora
- Crear planes de acción para programas de seguridad de IA organizacional
Temas Cubiertos:
- Amenazas emergentes: Deepfakes, inyección avanzada de indicaciones, inversión de modelos
- Futuros desarrollos y hoja de ruta del proyecto OWASP para IA Generativa
- Construcción de comunidades de seguridad de IA y intercambio de conocimientos
- Mejora continua e integración de inteligencia contra amenazas
Ejercicio de Planificación de Acción: Desarrollar un plan de acción de 90 días para implementar prácticas de seguridad OWASP para IA Generativa en las organizaciones de los participantes
Requerimientos
- Comprensión general de los principios de seguridad de aplicaciones web
- Familiaridad básica con conceptos de IA/ML
- Se prefiere experiencia con marcos de seguridad o metodologías de evaluación de riesgos
Audiencia
- Profesionales de ciberseguridad
- Desarrolladores de IA
- Arquitectos de sistemas
- Oficiales de cumplimiento normativo
- Especialistas en seguridad
Reseñas (1)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
