Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan para Producción
- Descripción general de los escenarios de servicio de modelos de Tencent Hunyuan.
- Características de producción de modelos grandes y de Mezcla de Expertos (MoE).
- Bottlenecks comunes de latencia, throughput y costos.
- Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.
Arquitectura de Implementación y Flujo de Servicio
- Componentes principales de una pila de inferencia en producción.
- Elección entre modelos de implementación en contenedores, on-premise y en la nube.
- Fundamentos de carga de modelo, enrutamiento de solicitudes y asignación de GPU.
- Diseño para confiabilidad y simplicidad operativa.
Optimización de Latencia en la Práctica
- Uso de motores de inferencia optimizados, como TensorRT, cuando sea aplicable.
- Conceptos del KV-cache y ajuste práctico del caché.
- Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Throughput, Agrupación de Solicitudes y Eficiencia de la GPU
- Estrategias de agrupación continua y por lotes de solicitudes.
- Gestión de concurrencia y comportamiento de colas.
- Mejora de la utilización de la GPU sin afectar la experiencia del usuario.
- Manejo de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Por qué es importante la cuantización para el servicio en producción.
- Compensaciones prácticas entre FP16, INT8 y otras opciones de precisión comunes.
- Equilibrio entre calidad del modelo, latencia y costo de infraestructura.
- Creación de una lista de comprobación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Preparación
- Ganchos de autoescalado para servicios de inferencia.
- Monitoreo de latencia, throughput, uso del caché y salud de la GPU.
- Fundamentos de registro (logging), alertas y respuesta a incidentes.
- Revisión de una implementación de referencia y creación de un plan de mejora.
Requerimientos
- Conocimiento básico de la implementación de modelos de lenguaje grandes y flujos de trabajo de inferencia.
- Experiencia con contenedores, infraestructura en la nube o on-premise y servicios basados en API.
- Conocimiento funcional de Python o tareas de ingeniería de sistemas.
Público Objetivo
- Ingenieros de ML que implementan modelos de lenguaje grandes (LLM) en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas de servicio de IA escalables.
