Temario del curso
1. Introducción al Deep Reinforcement Learning
- ¿Qué es el Aprendizaje por Refuerzo?
- Diferencia entre Aprendizaje Supervisado, No Supervisado y por Refuerzo
- Aplicaciones del DRL en 2025 (robótica, salud, finanzas, logística)
- Comprensión del bucle de interacción agente-entorno
2. Fundamentos del Aprendizaje por Refuerzo
- Procesos de Decisión de Markov (MDP)
- Estado, Acción, Recompensa, Política y funciones de Valor
- Compromiso entre Exploración y Explotación
- Métodos Monte Carlo y aprendizaje Temporal-Difference (TD)
3. Implementación de algoritmos básicos de RL
- Métodos tabulares: Programación Dinámica, Evaluación de Política e Iteración
- Q-Learning y SARSA
- Exploración epsilon-greedy y estrategias de decaimiento
- Implementación de entornos de RL con OpenAI Gymnasium
4. Transición al Deep Reinforcement Learning
- Limitaciones de los métodos tabulares
- Uso de redes neuronales para aproximación de funciones
- Arquitectura y flujo de trabajo de Deep Q-Network (DQN)
- Reproductor de experiencias (Experience replay) y redes objetivo
5. Algoritmos avanzados de DRL
- Double DQN, Dueling DQN y Reproductor de Experiencias Prioritizado
- Métodos de Gradientes de Política: algoritmo REINFORCE
- Arquitecturas Actor-Critic (A2C, A3C)
- Optimización de Política Próxima (PPO)
- Soft Actor-Critic (SAC)
6. Trabajo con espacios de acción continuos
- Desafíos en el control continuo
- Uso de DDPG (Deep Deterministic Policy Gradient)
- Twin Delayed DDPG (TD3)
7. Herramientas y marcos de trabajo prácticos
- Uso de Stable-Baselines3 y Ray RLlib
- Registro y monitoreo con TensorBoard
- Ajuste de hiperparámetros para modelos de DRL
8. Ingeniería de recompensas y diseño de entornos
- Modelado de recompensas (Reward shaping) y equilibrado de penalizaciones
- Conceptos de transferencia de aprendizaje simulación-a-realidad (Sim-to-real)
- Creación de entornos personalizados en Gymnasium
9. Entornos parcialmente observables y generalización
- Manejo de información de estado incompleta (POMDPs)
- Enfoques basados en memoria utilizando LSTMs y RNNs
- Mejora de la robustez y generalización de los agentes
10. Teoría de juegos y Aprendizaje por Refuerzo Multiagente
- Introducción a entornos multiagente
- Cooperación vs. competencia
- Aplicaciones en entrenamiento adversarial y optimización de estrategias
11. Estudios de caso y aplicaciones del mundo real
- Simulaciones de conducción autónoma
- Precios dinámicos y estrategias de trading financiero
- Robótica y automatización industrial
12. Solución de problemas y optimización
- Diagnóstico de entrenamiento inestable
- Gestión de la escasez de recompensas y el sobreajuste (overfitting)
- Escalado de modelos de DRL en GPUs y sistemas distribuidos
13. Resumen y próximos pasos
- Recapitulación de la arquitectura de DRL y algoritmos clave
- Tendencias de la industria y direcciones de investigación (por ejemplo, RLHF, modelos híbridos)
- Recursos adicionales y materiales de lectura
Requerimientos
- Dominio de la programación en Python.
- Comprensión del Cálculo y el Álgebra Lineal.
- Conocimientos básicos de Probabilidad y Estadística.
- Experiencia en la construcción de modelos de machine learning utilizando Python y NumPy o TensorFlow/PyTorch.
Público objetivo
- Desarrolladores interesados en la IA y los sistemas inteligentes.
- Científicos de datos que exploran marcos de trabajo de aprendizaje por refuerzo.
- Ingenieros de Machine Learning que trabajan con sistemas autónomos.
Reseñas (2)
Fomentar la repetición en la construcción de indicaciones (prompts) entre quienes nunca han utilizado la IA, y animar a los usuarios experimentados a considerar métodos alternativos para su uso.
Matthew Gay - Tarsus Pharmaceuticals
Curso - Artificial Intelligence (AI) Overview
Traducción Automática
Trabajando desde principios fundamentales de manera enfocada y pasando a aplicar estudios de caso en el mismo día
Maggie Webb - Department of Jobs, Regions, and Precincts
Curso - Artificial Neural Networks, Machine Learning, Deep Thinking
Traducción Automática