(H/F) Stage Reinforcement Learning Commande d'un Exosquelette

Wandercraft recrute !

À propos

Le jeune leader de la robotique de marche cherche de nouveaux talents pour compléter son équipe d’experts ! Rejoignez-nous !

Notre objectif : redonner la capacité de se lever et de marcher aux personnes à mobilité réduite. Nous réalisons les promesses de la robotique pour offrir une vie ordinaire à des gens extraordinaires. Pour cela, nous avons créé Atalante, l'exosquelette de marche qui permet aux personnes paraplégiques ou hémiplégiques de marcher à nouveau. Dans une première phase, Atalante est dédié au réapprentissage de la marche en milieu hospitalier. Atalante est le premier exo au monde capable de générer son propre équilibre, sans que son porteur ne doive se stabiliser avec des béquilles. Avec lui, tous les jours, des patients se lèvent d'un fauteuil roulant et marchent. Avec l’obtention du marquage CE, nous entamons sa commercialisation en France et en Europe.

Ce projet hors du commun est réalisé par une équipe soudée autour d'une ambition : améliorer la vie quotidienne des personnes à mobilité réduite. Nous travaillons dans un environnement solidaire, bienveillant, fun et agile. Chaque membre de la Wanderteam apporte cette effervescence et cette passion qui tire l'état de l'art de la robotique médicale vers le haut.

Depuis le cœur de Paris, nous coopérons avec les meilleurs laboratoires universitaires et des équipes médicales de premier plan, en Europe et aux USA.

Nous cherchons des talents enthousiastes, passionnés, créatifs, mais surtout, dotés d’un savoir-être qui nous est cher : exigeant(e) envers vous-même, honnête et engagé(e) dans tout ce que vous faites. Attendez-vous à être challengé(e) : nous faisons des choses que personne n’a encore faites. A devoir travailler intensément et vite : nous testons et apprenons. A devoir viser la perfection : nous faisons des exosquelettes de haute technologie qui changent la vie et la santé des personnes à mobilité réduite. En vidéo ici: https://www.youtube.com/watch?v=ytixnl7tPe0.

Descriptif du poste

Au sein d'une jeune start-up dynamique située à Paris, vous participerez à l'amélioration du contrôle de l’exosquelette en utilisant des méthodes d'Apprentissage par Renforcement (Reinforcement Learning) par Réseaux de Neurones (Deep Learning).

Ces dernières années, des résultats impressionnants ont été obtenus en utilisant des Réseaux de Neurones comme base d'algorithmes de contrôle. Si ces résultats étaient initialement réduits à des environements simulés (vidéo), ou des quadrupèdes dans des environements controlées (vidéo), des résultats plus récemment ont montré que ces méthodes pouvaient s'appliquer à des environements plus complexes (vidéo 1, vidéo 2), et mêmes aux bipèdes (vidéo). Pour arriver à ces résultats, un environement physique en simulation est créé, puis les chercheurs entrainent des controlleurs à réaliser une tâche au sein de ce simulateur. Certaines techniques "de transfert" sont appliquées pendant l'entrainement (domain randomization, meta-learning) pour que le controlleur entrainé en simulation fonctionne également sur le vrai robot et donne des performances simillaires.

A Wandercraft nous avons développé un simulateur, Jiminy, reproduisant largement le comportement de l'exosquelette. Ce simulateur est extrèmement rapide et permet d'entrainer en quelques heures seulement des controlleurs en simulation. L'année dernière nous avons ensuite utilisé plusieurs techniques de transfert classiques et nouvelles, pour créer un controlleur permettant de se maintenir debout et de se ratrapper en cas de perturbations extérieures, même modérément fortes. Ce stage vise à développer cette capacité, pour entrainer des controlleurs plus complexes comme la marche dynamique dans plusieurs directions ou sur sol irrégulier. Les deux facettes du processus seront étudiées : amélioration de la simulation et l'entrainement de controlleurs, et développement de techniques de transferts innovantes pour assurer un passage fluide de la simulation à la réalité. De nouveaux controlleurs (à base de réseaux de neurones) seront développés et de nombreux tests en simulation et sur le robot réel réalisés pour tester ces controlleurs.

Vous serez intégré dans l’équipe commande, composée de doctorants et d’ingénieurs, sous l’encadrement d’un des membres de l’équipe. Vous collaborerez avec les équipes mécanique et électronique pour mettre en application les méthodes développées.

Vos principales activités seront :

  • Amélioration des méthodes existantes de simulation du comportement du robot
  • Entrainement et optimisation de controlleurs pour la marche bidpède.
  • Evaluation des algorithmes en simulation et estimation des performances (efficacité, robustesse, etc..).
  • Développement ou amélioration d'un set-up expérimental.
  • Evaluation des algorithmes sur robot réel et estimation des performances (efficacité, robustesse, etc..).
  • Détermination des besoins matériel / logiciel pour l'intégration à l'exo-squelette de manière embarquée.
  • Participation aux tests sur le robot avec ou sans utilisateurs.

Les compétences obligatoires pour ces stages sont d'avoir déjà travaillé avec des réseaux de neurones (CNNs et / ou RNNs) entrainés sur GPU, idéalement dans un cadre d'apprentissage par renforcement (Reinforcement Learning).

Les compétences optionelles sont la connaissance de méthodes / algorithmes de robotique rigide, signal processing, contrôle bas niveau de mécanismes robotisés.

Stage de préférence pour une durée de 6 mois consécutifs, minimum 5 mois.

Profil recherché

A la fois créatif et rigoureux, vous avez une bonne capacité à travailler au sein d'une équipe et savez partager votre savoir et votre expérience avec les personnes avec qui vous travaillez. Vous appréciez de travailler sur un produit innovant et de confronter vos choix aux problématiques réelles observées sur le prototype. Vous savez rendre compte de vos choix et les argumenter, y compris avec des personnes qui n’ont pas votre formation. Vous savez vous adapter à des changements rapides et non prévisibles d’ordre de priorité des tâches.

Ce poste conviendra particulièrement aux candidats désireux d’intégrer une équipe dynamique et de haut niveau scientifique, axée sur le développement technologique d’un produit complexe et pluridisciplinaire au sein d’une jeune entreprise innovante en pleine croissance.

Process de recrutement

Entretiens techniques sur des sujets de machine learning (deep learning / modélisation probabiliste), mathématiques (optimisation), développement C++/python, modélisation d'un système mécanique.

Informations complémentaires

  • Type de contrat : Stage
  • Lieu : Paris
  • Niveau d'études : Bac +3
  • Salaire : entre 1000€ et 1300€ / mois