Doctorat Robotique Humanoïde - Apprentissage par renforcement sûr (H/F)

Sujet de thèse :
2. Sujet de Thèse
Cette thèse vise à développer une architecture de locomotion dynamique hybride dans laquelle une politique d'apprentissage par renforcement (RL) prend les décisions discrètes de haut niveau — telles que le mode de contact, le choix du pas ou du motif de démarche, et les transitions de comportement — tandis qu'un Contrôleur Prédictif (MPC), formulé et paramétré en ligne, assure le respect des contraintes physiques du robot et produit le mouvement continu du corps complet. Le MPC garantit la faisabilité, la sécurité et la cohérence dynamique, tandis que le RL apporte l'adaptation, l'anticipation et le choix stratégique dans des situations complexes, incertaines ou inédites.

3. État de l'Art
La locomotion des robots à pattes et humanoïdes sur des terrains non structurés ou dynamiques requiert deux types de raisonnement de nature différente. D'une part, choisir où et comment établir ou rompre le contact (quel pied, quelle surface, quel timing, quelle démarche) constitue fondamentalement un problème de décision discret et combinatoire, difficile à exprimer sous forme de coût lisse ou de contrainte convexe. D'autre part, une fois le plan de contact ou le mode de comportement choisi, générer une trajectoire dynamiquement cohérente et respectant les limites de couple et de contraintes est un problème d'optimisation continue pour lequel la commande corps-complet fondée sur un modèle et la Commande Prédictive (MPC) sont des approches matures et bien maîtrisées. Cette section passe en revue l'état de l'art selon cinq axes : la commande corps-complet et prédictive fondée sur un modèle, la MPC à contact implicite et hybride, l'apprentissage par renforcement sûr et les filtres de sécurité à l'exécution, les approches couplant RL et MPC, et la sélection apprise de modes discrets pour la locomotion hybride à pattes.
3.1 Commande corps-complet fondée sur un modèle et commande prédictive pour les robots à pattes
La commande corps-complet fondée sur des Programmes Quadratiques (QP) est devenue la formulation standard pour l'exécution priorisée de tâches sous contraintes articulaires, de couple et de contact sur les robots à pattes et humanoïdes [1]–[3], la QP Hiérarchique assurant une priorisation stricte des tâches pour une génération de mouvement en ligne rapide [4]. Une synthèse récente et complète regroupe les algorithmes numériques et les choix de modélisation qui sous-tendent la commande fondée sur l'optimisation pour les robots à pattes dynamiques, y compris les formulations centroïdales, corps-complet et à contact implicite [5]. Ces approches fondées sur un modèle offrent de solides garanties de satisfaction des contraintes et se généralisent bien à travers les tâches, mais elles dépendent de modèles dynamiques précis et nécessitent un plan ou une séquence de contact fournis de l'extérieur — précisément la décision combinatoire que cette thèse propose de déléguer à une po
Voir plus sur le site emploi.cnrs.fr...