Temario del curso
Introducción a Apache Iceberg
- Descripción general de Apache Iceberg
- Revisión de los conceptos básicos
Análisis profundo de la arquitectura de Iceberg
- Análisis detallado del formato de tabla de Iceberg
- Descripción general detallada de la arquitectura, incluidos los metadatos y la distribución de archivos
- Aspectos internos de la evolución del esquema y las particiones
Instalación y configuración avanzada
- Configuración de Iceberg para un rendimiento óptimo en diferentes entornos
- Integración con diversos motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Configuración de Iceberg en un entorno distribuido
Operaciones y mantenimiento avanzados
- Gestión de tablas Iceberg a gran escala
- Implementación y gestión de cambios complejos en el esquema
- Manejo de la evolución de particiones y particionamiento oculto
- Operaciones CRUD avanzadas con cambios de esquema y partición
Técnicas de optimización de consultas
- Técnicas para reducir la latencia de las consultas
- Poda de particiones y poda de archivos
- Almacenamiento en caché de metadatos y estrategias de optimización
- Implementación y prueba de técnicas de optimización de consultas
Ajuste de rendimiento para grandes conjuntos de datos
- Optimización del rendimiento para conjuntos de datos a gran escala
- Uso de las funciones integradas de Iceberg para el ajuste de rendimiento
- Estudios de casos sobre ajuste de rendimiento en escenarios reales
- Ajuste del rendimiento para conjuntos de datos a gran escala
Migración e integración avanzada de datos
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y consistencia
- Garantía de la consistencia e integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Manejo de fallos y mecanismos de recuperación
- Implementación de características de fiabilidad y consistencia
Funcionalidades avanzadas y personalización
- Implementaciones de catálogos personalizados
- Extensión de Iceberg con funciones personalizadas
- Implementación de catálogos personalizados y extensión de las funcionalidades de Iceberg
Gobernanza y cumplimiento normativo de datos
- Implementación de políticas de gobernanza de datos
- Cumplimiento con las regulaciones de datos
- Gestión de registros de auditoría y linaje de datos
- Implementación de características de gobernanza y cumplimiento normativo
Resumen y próximos pasos
Requerimientos
- Conocimiento de los conceptos básicos, operaciones elementales y gestión de tablas Iceberg
Público objetivo
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Reseñas (2)
Un viaje por el mundo de Spark: un curso muy intenso. DSL, Spark SQL, particionamiento versus agrupación para mí.
Georgiana Elisabeta
Curso - Apache Spark Fundamentals
Traducción Automática
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática