Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Soberanía en IA y despliegue local de LLMs
- Riesgos de los LLMs en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
- Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
- Comparación con vLLM, llama.cpp y Text Generation Inference.
- Licencias de modelos: términos de Llama, Mistral, Qwen y Gemma.
Instalación y configuración de hardware
- Instalación de Ollama en Linux con soporte para CUDA y ROCm.
- Alternativa solo con CPU y optimización AVX/AVX2.
- Despliegue con Docker y mapeo de volúmenes persistentes.
- Configuración de múltiples GPUs y estrategias de asignación de VRAM.
Gestión de modelos
- Descarga de modelos desde el registro de Ollama: ollama pull llama3.
- Importación de modelos GGUF desde HuggingFace y TheBloke.
- Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M y Q8_0.
- Cambio de modelos y límites de carga simultánea de modelos.
Archivos Modelfile personalizados
- Sintaxis de Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperature, top_p y repeat_penalty.
- Ingeniería de indicaciones de sistema para comportamientos específicos de rol.
- Creación y publicación de modelos personalizados en el registro local.
Integración de APIs
- Punto de acceso /v1/chat/completions compatible con OpenAI.
- Respuestas en transmisión continua (streaming) y modo JSON.
- Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
- Autenticación y limitación de tasa mediante proxy inverso.
Optimización del rendimiento
- Dimensionamiento de la ventana de contexto y gestión de la caché KV.
- Inferencia por lotes y procesamiento paralelo de solicitudes.
- Asignación de hilos de CPU y conciencia NUMA.
- Monitoreo de la utilización de GPU y presión de memoria.
Seguridad y cumplimiento
- Aislamiento de red para los puntos de acceso de servicio de modelos.
- Flujos de trabajo de filtrado de entrada y moderación de salida.
- Registro de auditoría de indicaciones y completamientos.
- Procedencia del modelo y verificación de hash.
Requerimientos
- Conocimientos intermedios de administración de Linux y contenedores.
- Comprensión a alto nivel de la inteligencia artificial y los modelos de transformadores.
- Familiaridad con APIs REST y JSON.
Público objetivo
- Ingenieros y desarrolladores de IA que deseen reemplazar las APIs de LLM en la nube.
- Organizaciones con sensibilidad de datos que impida el uso de modelos en la nube.
- Equipos de gobierno y defensa que requieran modelos de lenguaje aislados de la red (air-gapped).
