Stage Reinforcement Learning Commande D'un - Paris e, France - Wandercraft

Wandercraft

Entreprise vérifiée

Paris e, France

il y a 1 semaine

Posté par:

Sophie Dupont

beBee Recruiter

Description

Après avoir levé 40M€ fin 2021, le leader de la robotique de marche démarre une nouvelle phase de croissance internationale.

**Notre objectif : redonner la capacité de se lever et de marcher aux personnes à mobilité réduite.** Nous réalisons les promesses de la robotique pour offrir une vie ordinaire à des gens extraordinaires. Pour cela, nous avons créé Atalante, l'exosquelette de marche qui permet aux personnes paraplégiques ou hémiplégiques de marcher à nouveau. Utilisé pour la rééducation locomotrice en milieu hospitalier, Atalante est le premier exo au monde capable de générer son propre équilibre, sans que son porteur ne doive se stabiliser avec des béquilles. Avec lui, tous les jours, des patients se lèvent d'un fauteuil roulant et marchent, en France & en Europe.

Grâce aux enseignements d'Atalante, nous développons un exosquelette personnel qui permettra de regagner en autonomie à domicile, dans la rue, au quotidienAvec cette version personnelle, ce sont des millions de personnes dont Wandercraft ambitionne de changer durablement la vie pour le meilleur.

Ce projet hors du commun est réalisé par une équipe soudée autour d'une ambition : améliorer la vie quotidienne des personnes à mobilité réduite. Nous travaillons dans un environnement solidaire, bienveillant, et agile. Chaque membre de la Wanderteam apporte cette effervescence et cette passion pour ce que la robotique peut apporter aux hommes.

Depuis le cœur de Paris et de New York, nous coopérons avec les meilleurs laboratoires universitaires et des équipes médicales de premier plan, en Europe et aux USA.

Au sein d'une jeune start-up dynamique située à Paris, vous participerez à l'amélioration du contrôle de l'exosquelette en utilisant des méthodes d'Apprentissage par Renforcement (Reinforcement Learning) par Réseaux de Neurones (Deep Learning).

Ces dernières années, des résultats impressionnants ont été obtenus en utilisant des Réseaux de Neurones comme base d'algorithmes de contrôle. Si ces résultats étaient initialement réduits à des environements simulés (vidéo), ou des quadrupèdes dans des environements controlées (vidéo), des résultats plus récemment ont montré que ces méthodes pouvaient s'appliquer à des environements plus complexes (vidéo 1, vidéo 2), et mêmes aux bipèdes (vidéo). Pour arriver à ces résultats, un environement physique en simulation est créé, puis les chercheurs entrainent des controlleurs à réaliser une tâche au sein de ce simulateur. Certaines techniques "de transfert" sont appliquées pendant l'entrainement (domain randomization, meta-learning) pour que le controlleur entrainé en simulation fonctionne également sur le vrai robot et donne des performances simillaires.

A Wandercraft nous avons développé un simulateur, Jiminy, reproduisant largement le comportement de l'exosquelette. Ce simulateur est extrèmement rapide et permet d'entrainer en quelques heures seulement des controlleurs en simulation. L'année dernière nous avons ensuite utilisé plusieurs techniques de transfert classiques et nouvelles, pour créer un controlleur permettant de se maintenir debout et de se ratrapper en cas de perturbations extérieures, même modérément fortes. Ce stage vise à développer cette capacité, pour entrainer des controlleurs plus complexes comme la marche dynamique dans plusieurs directions ou sur sol irrégulier. Les deux facettes du processus seront étudiées : amélioration de la simulation et l'entrainement de controlleurs, et développement de techniques de transferts innovantes pour assurer un passage fluide de la simulation à la réalité. De nouveaux controlleurs (à base de réseaux de neurones) seront développés et de nombreux tests en simulation et sur le robot réel réalisés pour tester ces controlleurs.

Vos principales activités seront:

- Amélioration des méthodes existantes de simulation du comportement du robot
- Entrainement et optimisation de controlleurs pour la marche bidpède.
- Evaluation des algorithmes en simulation et estimation des performances (efficacité, robustesse, etc..).
- Développement ou amélioration d'un set-up expérimental.
- Evaluation des algorithmes sur robot réel et estimation des performances (efficacité, robustesse, etc..).
- Détermination des besoins matériel / logiciel pour l'intégration à l'exo-squelette de manière embarquée.
- Participation aux tests sur le robot avec ou sans utilisateurs.

Les compétences obligatoires pour ces stages sont d'avoir déjà travaillé avec des réseaux de neurones (CNNs et / ou RNNs) entrainés sur GPU, idéalement dans un cadre d'apprentissage par renforcement (Reinforcement Learning).

Les compétences optionelles sont la connaissance de méthodes / algorithmes de robotique rigide, signal processing, contrôle bas niveau de mécanismes robotisés.

Stage de préférence pour une durée de 6 mois consécutifs, minimum 5 mois.

**Pr