Contacta con nosotros

Temario del curso

Introducción y fundamentos del diagnóstico

  • Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama
  • Establecimiento de experimentos reproducibles y entornos controlados
  • Herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento (sandboxing)

Reproducción y aislamiento de fallos

  • Técnicas para crear ejemplos mínimos fallidos y semillas reproductivas
  • Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto
  • Determinismo, aleatoriedad y control del comportamiento no determinista

Evaluación conductual y métricas

  • Métricas cuantitativas: precisión, variantes ROUGE/BLEU, calibración y proxies de perplejidad
  • Evaluaciones cualitativas: puntuación con participación humana y diseño de rúbricas
  • Verificaciones de fidelidad específicas por tarea y criterios de aceptación

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenario y extremo a extremo
  • Creación de suites de regresión y líneas base de ejemplos dorados
  • Integración CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas

Observabilidad y monitoreo

  • Registros estructurados, trazas distribuidas e identificadores de correlación
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
  • Detección de alertas, paneles y SLIs/SLOs para servicios respaldados por modelos

Análisis avanzado de la causa raíz

  • Trazabilidad a través de prompts graficados, llamadas a herramientas y flujos multironda
  • Diagnóstico comparativo A/B y estudios de ablation
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos

Seguridad, robustez y estrategias de remediación

  • Mitigaciones: filtrado, fundamentación (grounding), aumento mediante recuperación y andamiaje de prompts
  • Patrones de retroceso, lanzamiento en canario y despliegues por fases para actualizaciones de modelos
  • Análisis post mortem, lecciones aprendidas y bucles de mejora continua

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia en la construcción y despliegue de aplicaciones LLM
  • Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
  • Comodidad con Python, Docker y herramientas básicas de observabilidad

Público objetivo

  • Ingenieros de IA
  • Profesionales de MLOps
  • Equipos de QA responsables de sistemas LLM en producción
 35 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas