Ponte en Contacto
 Duración 21 horas

Temario del curso

Introducción a Apache Airflow

  • ¿Qué es la orquestación de flujos de trabajo?
  • Principales características y beneficios de Apache Airflow
  • Mejoras de Airflow 2.x y resumen del ecosistema

Arquitectura y conceptos clave

  • Procesos del planificador, servidor web y trabajador
  • DAG, tareas y operadores
  • Ejecutores y backends (Local, Celery, Kubernetes)

Instalación y configuración

  • Instalación de Airflow en entornos locales y en la nube
  • Configuración de Airflow con diferentes ejecutores
  • Configuración de bases de datos de metadatos y conexiones

Navegación por la interfaz de usuario y la CLI de Airflow

  • Exploración de la interfaz web de Airflow
  • Supervisión de ejecuciones de DAG, tareas y registros
  • Uso de la CLI de Airflow para la administración

Creación y gestión de DAG

  • Creación de DAG con la API de TaskFlow
  • Uso de operadores, sensores y ganchos
  • Gestión de dependencias e intervalos de programación

Integración de Airflow con servicios de datos y en la nube

  • Conexión a bases de datos, API y colas de mensajes
  • Ejecución de pipelines ETL con Airflow
  • Integraciones en la nube: operadores de AWS, GCP, Azure

Supervisión y observabilidad

  • Registros de tareas y supervisión en tiempo real
  • Métricas con Prometheus y Grafana
  • Alertas y notificaciones con correo electrónico o Slack

Seguridad en Apache Airflow

  • Control de acceso basado en roles (RBAC)
  • Autenticación con LDAP, OAuth y SSO
  • Gestión de secretos con Vault y almacenes de secretos en la nube

Escalamiento de Apache Airflow

  • Paralelismo, concurrencia y colas de tareas
  • Uso de CeleryExecutor y KubernetesExecutor
  • Despliegue de Airflow en Kubernetes con Helm

Mejores prácticas para producción

  • Control de versiones y CI/CD para DAG
  • Pruebas y depuración de DAG
  • Mantenimiento de la confiabilidad y el rendimiento a gran escala

Solución de problemas y optimización

  • Depuración de DAG y tareas fallidas
  • Optimización del rendimiento de DAG
  • Errores comunes y cómo evitarlos

Resumen y próximos pasos

Requerimientos

  • Experiencia en programación con Python
  • Conocimiento de conceptos de ingeniería de datos o DevOps
  • Comprensión de ETL u orquestación de flujos de trabajo

Público objetivo

  • Científicos de datos
  • Ingenieros de datos
  • Ingenieros de DevOps e infraestructura
  • Desarrolladores de software

Número de participantes


Precio por participante

Reseñas (7)

Próximos cursos

Categorías Relacionadas