Temario del curso
Introducción a las pruebas de intrusión en IA
- Comprensión del panorama de amenazas en IA.
- Roles de los equipos de pruebas de intrusión (red teams) en la seguridad de la IA.
- Consideraciones éticas y legales.
Aprendizaje automático adversario
- Tipos de ataques: evasión, envenenamiento de datos, extracción e inferencia.
- Generación de ejemplos adversarios (por ejemplo, FGSM, PGD).
- Ataques dirigidos frente a no dirigidos y métricas de éxito.
Prueba de la resistencia del modelo
- Evaluación de la resistencia bajo perturbaciones.
- Exploración de puntos ciegos y modos de fallo del modelo.
- Pruebas bajo estrés de modelos de clasificación, visión por computadora y procesamiento de lenguaje natural (PLN).
Pruebas de intrusión en canalizaciones de IA
- Superficie de ataque de las canalizaciones de IA: datos, modelo e implementación.
- Explotación de APIs y puntos finales de modelos inseguros.
- Ingeniería inversa del comportamiento y los resultados del modelo.
Simulación y herramientas
- Uso de la Adversarial Robustness Toolbox (ART).
- Pruebas de intrusión con herramientas como TextAttack e IBM ART.
- Herramientas de aislamiento, monitorización y observabilidad.
Estrategia de pruebas de intrusión en IA y colaboración en defensa
- Desarrollo de ejercicios y objetivos para las pruebas de intrusión (red teaming).
- Comunicación de los hallazgos a los equipos defensores (blue teams).
- Integración de las pruebas de intrusión en la gestión de riesgos de IA.
Resumen y próximos pasos
Requerimientos
- Comprensión de las arquitecturas de aprendizaje automático y aprendizaje profundo.
- Experiencia con Python y marcos de aprendizaje automático (por ejemplo, TensorFlow, PyTorch).
- Familiaridad con conceptos de ciberseguridad o técnicas de seguridad ofensiva.
Público objetivo
- Investigadores de seguridad.
- Equipos de seguridad ofensiva.
- Profesionales de garantía de calidad en IA y pruebas de intrusión (red teaming).
Reseñas (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
