Modelos de Decisión de Autoalojamiento: Servicio, Cuantización, Latencia y Operaciones

Opciones de Despliegue

• Compromisos entre API alojada y autoalojada
• Patrones on-premises, de borde y aislados (air-gapped)
• Modelo único versus portafolio de modelos
• Comparación de costo por decisión

Dimensionamiento de Hardware y Capacidad

• Huella de memoria según la cantidad de parámetros
• Solo CPU versus aceleración con GPU
• Planificación de concurrencia y throughput
• Margen para el crecimiento de la longitud de la tarea

Stacks de Servicio

• Opciones de vLLM y SGLang
• Ejecución con llama.cpp y GGUF
• Ollama para desarrollo local
• Elección basándose en la forma de la carga de trabajo de decisión

Cuantización sin Perder Calibración

• Formatos de precisión y ahorro de memoria
• Medición de la pérdida de calidad y calibración
• Variantes por tensor y conscientes de la importancia
• Pruebas de aceptación después de la cuantización

Ingeniería de Latencia

• Latencia mediana versus latencia de cola
• Crecimiento de la latencia con la longitud del contexto
• Inicio en caliente (warm start) y caché de modelos
• Loteo (batching) de múltiples preguntas de decisión

Entornos de Borde y Restringidos

• Pequeños modelos de decisión en CPU
• Implementación en Apple Silicon y embebida
• Operación offline y estrategia de actualización
• Distribución de pesos en entornos aislados (air-gapped)

Contenedorización y Escalamiento

• Diseño de imágenes para el servicio de modelos
• Gestión de volúmenes y caché
• Escalamiento horizontal y enrutamiento
• Límites de recursos y compartir GPU

Observabilidad

• Métricas de solicitudes, latencia y errores
• Monitoreo de la distribución de confianza
• Seguimiento de resultados de decisión y escalaciones
• Alertas por desviación de calibración

Versionado y Despliegue

• Versionado de modelos y adaptadores
• Despliegue de sombra (shadow) y canario (canary)
• Archivos de modelo fijados (pinned) para auditoría
• Procedimientos de reversión (rollback)

Seguridad y Multiinquilinato

• Autenticación y limitación de tasa (rate limiting)
• Aislamiento de inquilinos para prompts y registros
• Aislamiento de red y control de salida (egress)
• Registros de auditoría de decisiones