Spécialisation Apprentissage par renforcement

Dans ce cours, vous apprendrez plusieurs algorithmes qui peuvent apprendre des politiques presque optimales basées sur l'interaction d'essais et d'erreurs avec l'environnement - l'apprentissage à partir de l'expérience de l'agent. L'apprentissage à partir de l'expérience réelle est frappant parce qu'il ne nécessite aucune connaissance préalable de la dynamique de l'environnement, tout en permettant d'atteindre un comportement optimal. Nous aborderons des méthodes de Monte Carlo intuitivement simples mais puissantes, ainsi que des méthodes d'apprentissage par différence temporelle, y compris l'apprentissage Q. A la fin de ce cours, vous serez capable de : - Comprendre l'apprentissage par différence temporelle et Monte Carlo comme deux stratégies pour estimer les fonctions de valeur à partir de l'expérience échantillonnée - Comprendre l'importance de l'exploration, lorsque l'on utilise l'expérience échantillonnée plutôt que les balayages de programmation dynamique dans un modèle - Comprendre les liens entre Monte Carlo et la programmation dynamique et la TD.

- Implémenter et appliquer l'algorithme de programmation dynamique pour l'estimation des fonctions de valeur - Implémenter et appliquer Expected Sarsa et Q-learning (deux méthodes de programmation dynamique pour le contrôle) - Comprendre la différence entre le contrôle sur la politique et le contrôle hors politique - Comprendre la planification avec l'expérience simulée (par opposition aux stratégies de planification classiques) - Implémenter une approche de la programmation dynamique basée sur un modèle, appelée Dyna, qui utilise l'expérience simulée - Mener une étude empirique pour voir les améliorations de l'efficacité de l'échantillonnage lors de l'utilisation de Dyna

Dans ce cours, vous apprendrez à résoudre des problèmes avec des espaces d'état larges, de haute dimension et potentiellement infinis. Vous verrez que l'estimation des fonctions de valeur peut être considérée comme un problème d'apprentissage supervisé - l'approximation de fonction - vous permettant de construire des agents qui équilibrent soigneusement la généralisation et la discrimination afin de maximiser la récompense. Nous commencerons ce voyage en étudiant comment nos méthodes d'évaluation ou de prédiction des politiques, comme Monte Carlo et TD, peuvent être étendues au cadre de l'approximation des fonctions. Vous apprendrez les techniques de construction de caractéristiques pour le RL, et l'apprentissage de représentation via les réseaux neuronaux et le backprop. Nous conclurons ce cours par une plongée en profondeur dans les méthodes de gradient de politique, un moyen d'apprendre des politiques directement sans apprendre une fonction de valeur. Dans ce cours, vous résoudrez deux tâches de contrôle d'état continu et étudierez les avantages des méthodes de gradient de politique dans un environnement d'action continue.

Prérequis : Ce cours s'appuie fortement sur les fondamentaux des cours 1 et 2, et les apprenants doivent les avoir suivis avant de commencer ce cours. Les apprenants doivent également être à l'aise avec les probabilités et les attentes, l'algèbre linéaire de base, le calcul de base, Python 3.0 (au moins 1 an), et l'implémentation d'algorithmes à partir de pseudocodes. A la fin de ce cours, vous serez capable de : -Comprendre comment utiliser des approches d'apprentissage supervisé pour approximer des fonctions de valeur -Comprendre les objectifs de prédiction (estimation de valeur) sous approximation de fonction -Implémenter des TD avec approximation de fonction (agrégation d'état), comprendre les objectifs de la prédiction (estimation de la valeur) dans le cadre de l'approximation de fonction -Mettre en œuvre la TD avec l'approximation de fonction (agrégation d'états), dans un environnement avec un espace d'états infini (espace d'états continu)Contraster les formulations de problèmes actualisés pour le contrôle avec une formulation de problème de récompense moyenne -Implémenter Sarsa attendu et Q-learning avec approximation de fonction sur une tâche de contrôle d'état continu -Comprendre les objectifs pour estimer directement les politiques (objectifs de gradient de politique) -Implémenter une méthode de gradient de politique (appelée Actor-Critic) sur un environnement d'état discret

Dans ce dernier cours, vous rassemblerez vos connaissances des cours 1, 2 et 3 pour mettre en œuvre une solution RL complète à un problème. Ce projet vous permettra de voir comment chaque composant - formulation du problème, sélection de l'algorithme, sélection des paramètres et conception de la représentation - s'intègre dans une solution complète, et comment faire des choix appropriés lors du déploiement du RL dans le monde réel. Ce projet vous demandera d'implémenter à la fois l'environnement pour stimuler votre problème et un agent de contrôle avec une approximation de fonction de réseau neuronal. En outre, vous mènerez une étude scientifique de votre système d'apprentissage afin de développer votre capacité à évaluer la robustesse des agents RL. Pour utiliser le RL dans le monde réel, il est essentiel de (a) formaliser correctement le problème en tant que MDP, (b) sélectionner les algorithmes appropriés, (c) identifier les choix dans votre implémentation qui auront un impact important sur la performance et (d) valider le comportement attendu de vos algorithmes. Ce cours est utile pour tous ceux qui prévoient d'utiliser le RL pour résoudre des problèmes réels. Pour réussir ce cours, vous devrez avoir suivi les cours 1, 2 et 3 de cette Specializations ou l'équivalent. A la fin de ce cours, vous serez en mesure de :

Compléter une solution RL à un problème, en commençant par la formulation du problème, la sélection et l'implémentation d'algorithmes appropriés et l'étude empirique de l'efficacité de la solution.