Comprender las Redes Neuronales Profundas

Parte 1 – Conceptos de Aprendizaje Profundo y DNN

Introducción a IA, Aprendizaje Automático y Aprendizaje Profundo

• Historia, conceptos básicos y aplicaciones habituales de la inteligencia artificial más allá de las fantasías asociadas a este dominio.
• Inteligencia colectiva: agregación de conocimientos compartidos por muchos agentes virtuales.
• Algoritmos genéticos: para evolucionar una población de agentes virtuales mediante selección.
• Máquinas de aprendizaje habituales: definición.
• Tipos de tareas: aprendizaje supervisado, aprendizaje no supervisado, aprendizaje por refuerzo.
• Tipos de acciones: clasificación, regresión, agrupamiento (clustering), estimación de densidad, reducción de dimensionalidad.
• Ejemplos de algoritmos de aprendizaje automático: Regresión lineal, Bayes ingenuo, Árbol aleatorio.
• Aprendizaje Automático vs. Aprendizaje Profundo: problemas en los que el aprendizaje automático sigue siendo hoy el estado del arte (Bosques aleatorios y XGBoost).

Conceptos básicos de una Red Neuronal (Aplicación: perceptrón multicapa)

• Recordatorio de las bases matemáticas.
• Definición de una red de neurones: arquitectura clásica, activación y
• Ponderación de activaciones anteriores, profundidad de una red.
• Definición del aprendizaje de una red de neurones: funciones de coste, retropropagación, descenso del gradiente estocástico, máxima verosimilitud.
• Modelado de una red neuronal: modelado de datos de entrada y salida según el tipo de problema (regresión, clasificación...). Maldición de la dimensionalidad.
• Distinción entre datos multivariable y señales. Elección de una función de coste según los datos.
• Aproximación de una función por una red neuronal: presentación y ejemplos.
• Aproximación de una distribución por una red neuronal: presentación y ejemplos.
• Aumento de datos: cómo equilibrar un conjunto de datos.
• Generalización de los resultados de una red neuronal.
• Inicialización y regularización de una red neuronal: Regularización L1 / L2, Normalización por lotes (Batch Normalization).
• Algoritmos de optimización y convergencia.

Herramientas estándar de ML / DL

Se planifica una presentación simple con ventajas, desventajas, posición en el ecosistema y uso.

• Herramientas de gestión de datos: Apache Spark, herramientas Apache Hadoop.
• Aprendizaje automático: Numpy, Scipy, Sci-kit.
• Frameworks de alto nivel para DL: PyTorch, Keras, Lasagne.
• Frameworks de bajo nivel para DL: Theano, Torch, Caffe, Tensorflow.

Redes Neuronales Convolucionales (CNN).

• Presentación de las CNN: principios fundamentales y aplicaciones.
• Funcionamiento básico de una CNN: capa convolucional, uso de un kernel,
• Relleno (Padding) y paso (stride), generación de mapas de características, capas de agrupamiento (pooling). Extensiones 1D, 2D y 3D.
• Presentación de las diferentes arquitecturas CNN que han alcanzado el estado del arte en clasificación.
• Imágenes: LeNet, Redes VGG, Red dentro de la red (Network in Network), Inception, Resnet. Presentación de las innovaciones introducidas por cada arquitectura y sus aplicaciones más globales (Convolución 1x1 o conexiones residuales).
• Uso de un modelo de atención.
• Aplicación a un caso de clasificación común (texto o imagen).
• CNNs para generación: super-resolución, segmentación píxel a píxel. Presentación de
• Las principales estrategias para aumentar los mapas de características en la generación de imágenes.

Redes Neuronales Recurrentes (RNN).

• Presentación de las RNN: principios fundamentales y aplicaciones.
• Funcionamiento básico de la RNN: activación oculta, retropropagación a través del tiempo, versión desplegada (unfolded).
• Evoluciones hacia las Unidades Recurrentes con Puerta (GRUs) y LSTM (Memoria a Corto Plazo Larga duración).
• Presentación de los diferentes estados y las evoluciones introducidas por estas arquitecturas.
• Problemas de convergencia y gradiente que se desvanece (vanishing gradient).
• Arquitecturas clásicas: Predicción de una serie temporal, clasificación, ...
• Arquitectura de tipo Codificador-Decodificador RNN. Uso de un modelo de atención.
• Aplicaciones en PLN (Procesamiento de Lenguaje Natural): codificación de palabras / caracteres, traducción.
• Aplicaciones en vídeo: predicción de la siguiente imagen generada de una secuencia de vídeo.

Modelos generativos: Autoencodificador Variacional (VAE) y Redes Generativas Adversarias (GAN).

• Presentación de los modelos generativos, relación con las CNN.
• Autoencodificador: reducción de dimensionalidad y generación limitada.
• Autoencodificador Variacional: modelo generativo y aproximación de la distribución de una entrada. Definición y uso del espacio latente. Truco de reparametrización. Aplicaciones y límites observados.
• Redes Generativas Adversarias (GAN): Fundamentos.
• Arquitectura de doble red (Generador y discriminador) con aprendizaje alternado, funciones de coste disponibles.
• Convergencia de una GAN y dificultades encontradas.
• Mejora de la convergencia: Wasserstein GAN, Began. Distancia de transporte óptimo (Earth Mover Distance).
• Aplicaciones para la generación de imágenes o fotografías, generación de texto, super-resolución.

Aprendizaje por Refuerzo Profundo.

• Presentación del aprendizaje por refuerzo: control de un agente en un entorno definido.
• Por un estado y posibles acciones.
• Uso de una red neuronal para aproximar la función de estado.
• Deep Q Learning: experiencia previa (experience replay) y aplicación al control de un videojuego.
• Optimización de la política de aprendizaje. On-policy && off-policy. Arquitectura Actor-Critic. A3C.
• Aplicaciones: control de un único videojuego o un sistema digital.

Parte 2 – Theano para Aprendizaje Profundo

Básicos de Theano

• Introducción
• Instalación y configuración

Funciones de Theano

• entradas, salidas, actualizaciones, givens

Entrenamiento y optimización de una red neuronal utilizando Theano

• Modelado de la Red Neuronal
• Regresión Logística
• Capas Ocultas
• Entrenamiento de una red
• Cómputo y Clasificación
• Optimización
• Pérdida Logarítmica (Log Loss)

Prueba del modelo

Parte 3 – DNN utilizando Tensorflow

Básicos de TensorFlow

• Creación, inicialización, guardado y restauración de variables de TensorFlow
• Alimentación, lectura y precarga de datos de TensorFlow
• Cómo utilizar la infraestructura de TensorFlow para entrenar modelos a escala
• Visualización y evaluación de modelos con TensorBoard

Mecánica de TensorFlow

• Preparar los datos
• Descarga
• Entradas y Placeholders (espacios reservados)
• Construir los Grafos
  • Inferencia
  • Pérdida (Loss)
  • Entrenamiento
• Entrenar el Modelo
  • El Grafo
  • La Sesión
  • Bucle de Entrenamiento (Train Loop)
• Evaluar el Modelo
  • Construir el Grafo de Evaluación
  • Salida de Evaluación (Eval Output)

El Perceptrón

• Funciones de activación
• El algoritmo de aprendizaje del perceptrón
• Clasificación binaria con el perceptrón
• Clasificación de documentos con el perceptrón
• Limitaciones del perceptrón

Del Perceptrón a las Máquinas de Vectores de Soporte (SVM)

• Kernels y el truco del kernel
• Clasificación de margen máximo y vectores de soporte

Redes Neuronales Artificiales

• Límites de decisión no lineales
• Redes neuronales artificiales feedforward y feedback
• Perceptrones multicapa
• Minimización de la función de coste
• Propagación hacia adelante (Forward propagation)
• Retropropagación (Back propagation)
• Mejora de la forma en que aprenden las redes neuronales

Redes Neuronales Convolucionales

• Objetivos
• Arquitectura del Modelo
• Principios
• Organización del Código
• Lanzamiento y Entrenamiento del Modelo
• Evaluación de un Modelo

Introducciones básicas que se deben dar a los siguientes módulos (Se proporcionará una breve introducción según la disponibilidad de tiempo):

Tensorflow – Uso Avanzado

• Hilos y Colas (Threading and Queues)
• TensorFlow Distribuido
• Redacción de documentación y compartición de su modelo
• Personalización de Lectores de Datos
• Manipulación de Archivos de Modelo de TensorFlow

TensorFlow Serving

• Introducción
• Tutorial básico de Servicio
• Tutorial avanzado de Servicio
• Tutorial de servicio del Modelo Inception