Contacta con nosotros

Temario del curso

Introducción a los Modelos Multimodales

  • Resumen del aprendizaje automático multimodal.
  • Aplicaciones de los modelos multimodales.
  • Desafíos al manejar múltiples tipos de datos.

Arquitecturas para Modelos Multimodales

  • Exploración de modelos como CLIP, Flamingo y BLIP.
  • Comprensión de los mecanismos de atención entre modalidades.
  • Consideraciones arquitectónicas para la escalabilidad y eficiencia.

Preparación de Conjuntos de Datos Multimodales

  • Técnicas de recopilación y anotación de datos.
  • Preprocesamiento de entradas de texto, imágenes y video.
  • Balanceo de conjuntos de datos para tareas multimodales.

Técnicas de Ajuste Fino para Modelos Multimodales

  • Configuración de canales de entrenamiento para modelos multimodales.
  • Gestión de restricciones de memoria y capacidad computacional.
  • Manejo de la alineación entre modalidades.

Aplicaciones de Modelos Multimodales Ajustados Finamente

  • Respuesta a preguntas visuales.
  • Leyenda de imágenes y video.
  • Generación de contenido utilizando entradas multimodales.

Optimización del Rendimiento y Evaluación

  • Métricas de evaluación para tareas multimodales.
  • Optimización de la latencia y el rendimiento en producción.
  • Asegurar robustez y consistencia entre modalidades.

Implementación de Modelos Multimodales

  • Empaquetado de modelos para su implementación.
  • Inferencia escalable en plataformas en la nube.
  • Aplicaciones e integraciones en tiempo real.

Casos de Estudio y Laboratorios Prácticos

  • Ajuste fino de CLIP para recuperación de imágenes basada en contenido.
  • Entrenamiento de un chatbot multimodal con texto y video.
  • Implementación de sistemas de recuperación entre modalidades.

Resumen y Próximos Pasos

Requerimientos

  • Dominio de la programación en Python.
  • Comprensión de conceptos de aprendizaje profundo.
  • Experiencia con el ajuste fino de modelos preentrenados.

Público objetivo

  • Investigadores de IA.
  • Científicos de datos.
  • Practicantes de aprendizaje automático.
 28 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas