Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y Fundamentos del Diagnóstico
- Resumen de los modos de fallo en sistemas de LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Conjunto de herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento de entorno (sandboxing)
Reproducción y Aislamiento de Fallas
- Técnicas para crear ejemplos de fallo mínimos y semillas
- Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación Comportamental y Métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y aproximaciones de perplejidad
- Evaluaciones cualitativas: puntuación humana en el proceso (human-in-the-loop) y diseño de rúbricas
- Verificaciones de fidelidad específicas de la tarea y criterios de aceptación
Pruebas Automáticas y Regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
- Creación de suites de regresión y líneas base de ejemplos dorados
- Integración de CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas
Observabilidad y Monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, tableros y SLIs/SLOs para servicios respaldados por modelos
Análisis Avanzado de la Causa Raíz
- Trazado a través de prompts en grafo, llamadas a herramientas y flujos de múltiples turnos
- Diagnóstico comparativo A/B y estudios de ablación
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallas inducidas por el conjunto de datos
Seguridad, Robustez y Estrategias de Remediación
- Mitigaciones: filtrado, anclaje (grounding), aumento de recuperación y andamiaje de prompts (prompt scaffolding)
- Patrones de reversión (rollback), canario y despliegue escalonado para actualizaciones de modelos
- Analizar los hechos (post-mortems), lecciones aprendidas y ciclos de mejora continua
Resumen y Próximos Pasos
Requerimientos
- Experiencia sólida en la construcción y despliegue de aplicaciones de LLM
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
- Facilidad con Python, Docker y herramientas básicas de observabilidad
Público Objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas de LLM en producción