Optimización del rendimiento en Ascend, Biren y Cambricon

Conceptos y métricas de rendimiento

• Latencia, rendimiento (throughput), consumo de energía, utilización de recursos
• Cuellos de botella a nivel de sistema vs. modelo
• Perfilado para inferencia vs. entrenamiento

Perfilado en Huawei Ascend

• Uso de CANN Profiler y MindInsight
• Diagnóstico de núcleos (kernels) y operadores
• Patrones de descarga y mapeo de memoria

Perfilado en GPU Biren

• Funciones de monitoreo de rendimiento del SDK de Biren
• Fusión de núcleos, alineación de memoria y colas de ejecución
• Perfilado consciente del consumo de energía y la temperatura

Perfilado en Cambricon MLU

• Herramientas de rendimiento BANGPy y Neuware
• Visibilidad a nivel de núcleo e interpretación de registros
• Integración del perfilador MLU con marcos de implementación

Optimización a nivel de grafo y modelo

• Estrategias de poda de grafos y cuantización
• Fusión de operadores y reestructuración del grafo computacional
• Estandarización del tamaño de entrada y ajuste de lotes (batch tuning)

Optimización de memoria y núcleos (kernels)

• Optimización del diseño de memoria y reutilización
• Gestión eficiente de buffers a través de diferentes conjuntos de chips
• Técnicas de ajuste a nivel de núcleo por plataforma

Mejores prácticas multiplataforma

• Portabilidad del rendimiento: estrategias de abstracción
• Construcción de flujos de trabajo de ajuste compartidos para entornos con múltiples chips
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y próximos pasos