Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a LLMOps
- LLMOps vs MLOps: desafíos únicos de la operación de LLM.
- El ciclo de vida de la aplicación LLM: instrucción (prompt), evaluación, despliegue, monitoreo.
- Lista de verificación de preparación para producción de aplicaciones de IA generativa.
Gestión y versionado de instrucciones (prompts)
- Sistemas de plantillas de instrucciones e inyección de variables.
- Versionado semántico de instrucciones con pruebas de regresión automatizadas.
- Registros de instrucciones y flujos de trabajo de colaboración.
Evaluación de LLM a gran escala
- Dimensiones de evaluación: precisión, relevancia, seguridad y fundamento (groundedness).
- Métricas de LLM como juez y pipelines de evaluación humana.
- Frameworks de evaluación automatizada: RAGAS, DeepEval y evaluadores personalizados.
- Puertas de calidad en CI/CD para despliegues de LLM.
Salvaguardas de seguridad y gobernanza del contenido
- Salvaguardas de entrada y salida: NeMo Guardrails y Guardrails AI.
- Detección de información personal identificable (PII), filtrado de toxicidad y límites temáticos.
- Estrategias de defensa contra jailbreak e inyección de instrucciones (prompt injection).
- Pruebas de penetración (red-teaming) de aplicaciones LLM para asegurar la seguridad.
Observabilidad y monitoreo de LLM
- Telemetría: uso de tokens, latencia, costos y métricas de calidad.
- Detección de desviación (drift) en las salidas de LLM y espacios de incrustación (embedding spaces).
- Rastreo a nivel de sesión para conversaciones de agentes multi-turno.
- Tableros (dashboards) y alertas con LangSmith, Arize y OpenTelemetry.
Pasarela de IA y orquestación de modelos
- Enrutamiento multi-proveedor con LiteLLM y Portkey.
- Estrategias de alternativa (fallback), lógica de reintento y disyuntores (circuit breakers).
- Selección de modelos consciente del costo y balanceo de carga.
- Limitación de velocidad, gestión de cuotas y gobernanza de claves de API.
Optimización del rendimiento
- Caché semántico con almacenes vectoriales y estrategias de coincidencia exacta.
- Imposición de salida estructurada mediante descodificación restringida (constrained decoding).
- Patrones de procesamiento por lotes, transmisión (streaming) y concurrencia.
- Optimización de la latencia entre proveedores de modelos.
Gobernanza, cumplimiento y auditoría
- Registros de auditoría de LLM: registros de instrucciones, registros de respuestas y procedencia de decisiones.
- Consideraciones de residencia de datos y privacidad para APIs de LLM.
- Gestión de políticas como código (policy-as-code) para el uso de LLM dentro de las organizaciones.
- Desarrollo de un manual interno de operaciones de LLM.
Requerimientos
- Experiencia en la construcción o integración de aplicaciones impulsadas por LLM.
- Familiaridad con Python y APIs REST.
- Conocimiento básico de los conceptos de ingeniería de instrucciones (prompt engineering).
Público objetivo
- Ingenieros de ML y profesionales de MLOps que transicionan hacia operaciones de LLM.
- Ingenieros de plataforma responsables de la infraestructura de LLM.
- Líderes técnicos que gestionan despliegues de IA generativa en producción.
14 Horas
Reseñas (2)
Uso de prompts apropiados y eficaces
Marses Pacaldo
Curso - Generative AI and Prompt Engineering for Corporate Professionals
Traducción Automática
El estilo interactivo, los ejercicios
Tamas Tutuntzisz
Curso - Introduction to Prompt Engineering
Traducción Automática
