Contacta con nosotros

Temario del curso

Introducción a los Modelos Visión-Lenguaje

  • Visión general de los VLMs y su papel en la IA multimodal.
  • Arquitecturas populares: CLIP, Flamingo, BLIP, etc.
  • Casos de uso: búsqueda, generación de leyendas, sistemas autónomos, análisis de contenido.

Preparación del Entorno para el Ajuste Fino

  • Configuración de OpenCLIP y otras bibliotecas de VLMs.
  • Formatos de datos para pares de imagen-texto.
  • Pipelines de preprocesamiento para entradas visuales y lingüísticas.

Ajuste Fino de CLIP y Modelos Similares

  • Pérdida contrastiva y espacios de incrustación conjuntos.
  • Práctica: ajuste fino de CLIP en conjuntos de datos personalizados.
  • Gestión de datos específicos del dominio y multilingües.

Técnicas Avanzadas de Ajuste Fino

  • Uso de LoRA y métodos basados en adaptadores para mayor eficiencia.
  • Ajuste de prompts e inyección de prompts visuales.
  • Compensaciones entre la evaluación con ceros disparos (zero-shot) y el ajuste fino.

Evaluación y Puesta a Prueba

  • Métricas para VLMs: precisión en recuperación, BLEU, CIDEr, recall.
  • Diagnósticos de alineación visual-texto.
  • Visualización de espacios de incrustación y malclasificaciones.

Implementación y Uso en Aplicaciones Reales

  • Exportación de modelos para inferencia (TorchScript, ONNX).
  • Integración de VLMs en pipelines o APIs.
  • Consideraciones sobre recursos y escalado de modelos.

Casos de Estudio y Escenarios Aplicados

  • Análisis de medios y moderación de contenido.
  • Búsqueda y recuperación en comercio electrónico y bibliotecas digitales.
  • Interacción multimodal en robótica y sistemas autónomos.

Resumen y Próximos Pasos

Requerimientos

  • Comprensión del aprendizaje profundo aplicado a la visión y al procesamiento de lenguaje natural (NLP).
  • Experiencia con PyTorch y modelos basados en transformadores.
  • Familiaridad con las arquitecturas de modelos multimodales.

Público Objetivo

  • Ingenieros de visión por computador.
  • Desarrolladores de IA.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas