Formation/Cours

Ce cours fournie les bases théoriques pour comprendre l’apprentissage par renforcement avec des exemples applicatifs.

• Introduction, terminologies et motivation sur des solutions d’apprentissage par renforcement


• Les agents décisionnels et la prise de décisions : les Processus Décisionnels de Markov, la fonction de valeurs, la programmation dynamique, l’équation de Bellman


• Concepts autour des méthodes d’apprentissage par renforcement et leurs politiques : model base, model free, on policy, off policy, compromis exploitation exploration, solutions optimales et sous-optimales


• L’algorithme de Q Learning


• L’algorithme de Monte-Carlo


• Le Fleau de la dimension : taille de problème, nombre de visites vs taille tableaux de valeurs, panorama de solutions existantes pour diminuer la complexité (apprentissage guidé par des heuristiques, bénéficier d’une structure sous-jacente …)


• Conclusion sur les avantages et inconvénients des solutions d’apprentissage par renforcement


• Panorama de cadres applicatifs et leurs spécificités avec un focus sur un cadre applicatif robotique via The Construct : une plateforme robotique basé sur la simulation de plusieurs types de robots (turtle, bras, bb8, …). Des licences de 4 mois serons offerts aux étudiants pour pratiquer la mise en place et l’évaluation de différents algorithmes d’apprentissage par renforcement sur des robots via le simulateur.