Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a Mistral a Gran Escala
- Visión general de Mistral Medium 3.
- Compensaciones entre rendimiento y costos.
- Consideraciones para la escala empresarial.
Patrones de implementación para LLMs
- Topologías de servicio y decisiones de diseño.
- Implementaciones en instalaciones propias frente a la nube.
- Estrategias híbridas y multi-nube.
Técnicas de optimización de inferencia
- Estrategias de agrupamiento para alto rendimiento.
- Métodos de cuantización para reducir costos.
- Utilización de aceleradores y GPUs.
Escalabilidad y confiabilidad
- Escalado de clústeres de Kubernetes para inferencia.
- Balancing de carga y enrutamiento de tráfico.
- Tolerancia a fallas y redundancia.
Marco de ingeniería de costos
- Evaluación de la eficiencia de costos de inferencia.
- Ajuste adecuado (right-sizing) de recursos de cómputo y memoria.
- Monitoreo y alertas para optimización continua.
Seguridad y cumplimiento en producción
- Protección de implementaciones y APIs.
- Consideraciones sobre gobernanza de datos.
- Cumplimiento normativo en la ingeniería de costos.
Casos de estudio y mejores prácticas
- Arquitecturas de referencia para Mistral a gran escala.
- Lecciones aprendidas de implementaciones empresariales.
- Tendencias futuras en inferencia eficiente de LLMs.
Resumen y siguientes pasos
Requerimientos
- Sólida comprensión del despliegue de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Conocimiento sobre estrategias de ajuste de rendimiento y optimización de costos.
Público objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
14 Horas
