Au sein d'une jeune start-up dynamique située à Paris, vous participerez au développement de la commande de l’exosquelette en utilisant des méthodes d’Apprentissage par Renforcement (Reinforcement Learning) et d’Apprentissage Profond (Deep Learning).
Ces dernières années, des résultats impressionnants ont été obtenus en utilisant des Réseaux de Neurones comme base d'algorithmes de contrôle. Si ces résultats étaient initialement réduits à des environnements simulés (vidéo), ou des quadrupèdes dans des environnements controlés (vidéo), des résultats plus récemment ont montré que ces méthodes pouvaient s'appliquer à des environnements plus complexes (vidéo 1, vidéo 2), et mêmes aux bipèdes (vidéo). Pour arriver à ces résultats, un environnement physique en simulation est créé, puis les chercheurs entrainent des contrôleurs à réaliser une tâche au sein de ce simulateur. Certaines techniques "de transfert" sont appliquées pendant l'entrainement (domain randomization, meta-learning) pour que le contrôleur entrainé en simulation fonctionne également sur le vrai robot et donne des performances similaires.
Wandercraft a participé activement au développement du simulateur de systèmes poly-articulés open-source Jiminy. Ce dernier reproduit largement le comportement de l'exosquelette de façon convaincante et permet d'entrainer en quelques heures seulement des contrôleurs en simulation. Nous avons ainsi pu entrainer un contrôleur permettant de se maintenir debout et de se rattraper en cas de perturbations extérieures, même modérément fortes en simulation et en réalité, ce qui a fait l’objet d’une publication scientifique (video).
Vous serez intégré dans l’équipe commande, composée de doctorants et d’ingénieurs, sous l’encadrement d’un des membres de l’équipe. Selon les domaines d’expertise et appétences du candidat retenu, vos principales activités seront :
• Amélioration des méthodes existantes de simulation du comportement du robot,
• Développement de techniques de transferts innovantes pour assurer un passage fluide de la simulation à la réalité,
• Entrainement et optimisation de contrôleurs pour la marche bipède,
• Evaluation des algorithmes en simulation et estimation des performances (efficacité, robustesse, etc..),
• Développement ou amélioration d'un setup expérimental,
• Evaluation des algorithmes sur robot réel et estimation des performances (efficacité, robustesse, etc..),
• Détermination des besoins matériel / logiciel pour l'intégration à l'exosquelette de manière embarquée,
• Participation aux tests sur le robot avec ou sans utilisateurs.
