Offre de stage Master 2, équipe IRA2 : « Conception et évaluation d’un scénario de formation immersive pour la téléopération robotique avec retour haptique » (See the English translation below)

TITRE : Conception et évaluation d’un scénario de formation immersive pour la téléopération robotique avec retour haptique

Mots-clés

Réalité Mixte, Robotique collaborative, Téléopération, Interactions haptiques, Interactions collaboratives, compagnonnage, formation au geste technique.

Contexte

Ce stage s’inscrit dans les domaines de l’interaction humain-robot et de la réalité mixte appliqués à la formation au geste technique. Il vise à étudier les interactions multimodales et collaboratives permettant à un formateur d’enseigner à un apprenant des gestes techniques de téléopération robotique dans un environnement en réalité mixte. Il sera réalisé dans le cadre d’un projet mené en collaboration avec le laboratoire ISIR.

Problématique

La transmission des gestes techniques complexes repose traditionnellement sur un modèle de compagnonnage, où un apprenant observe puis reproduit les actions d’un expert. Cependant, dans le contexte de la téléopération robotique, la précision requise, la disponibilité limitée des experts et la complexité des interfaces rendent insuffisante une formation uniquement basée sur la pratique directe. D’où la nécessité de nouvelles approches pédagogiques, fondées sur la simulation et la réalité mixte, permettant un apprentissage progressif, sécurisé et reproductible des compétences techniques. Les technologies immersives offrent ainsi de nouvelles possibilités pour structurer la formation tout en préservant l’interaction expert-novice.

Les simulateurs en réalité mixte peuvent jouer un rôle majeur dans cette transition. Toutefois, les outils existants sont souvent conçus pour un apprentissage autonome et n’intègrent pas nativement la présence active d’un tuteur.

Ce projet vise donc à concevoir un scénario de formation s’appuyant sur des interactions multimodales et collaboratives ainsi que sur des interfaces innovantes intégrant des bras haptiques et un robot collaboratif. Le système permettra à un expert de guider et d’accompagner en temps réel un apprenant via un robot téléopéré et un environnement immersif, facilitant ainsi le transfert des compétences tout en maintenant le formateur « dans la boucle ».

Nos premiers travaux ont permis d’explorer différentes formes de communication expert-novice [9, 10, 11] et de développer une plateforme logicielle (SPHERE), basée sur ROS2, capable d’intégrer plusieurs interfaces et systèmes robotiques (fig. 1).

L’objectif du présent stage est de mettre en place un scénario complet de formation à un geste technique intégrant ces technologies, ainsi que de concevoir et de mener une étude expérimentale pour évaluer le système, tant en termes d’utilisabilité que d’acquisition des compétences.

Travail à réaliser

Réaliser une étude de l’état de l’art du domaine,
Se baser sur les études existantes, et les plateformes de l’équipe pour concevoir et développer un système de compagnonnage à distance,
Mettre en place un protocole expérimental pour évaluer le système,
Réaliser l’étude expérimentale et analyser les résultats,
Contribuer à la publication des résultats dans une conférence nationale ou

Compétences et qualités requises

Niveau M2 ou dernière année en école d’ingénieurs, solide maîtrise de la programmation (Unity/C# et ROS2/C++), connaissance en robotique, interfaces haptiques, réalité mixte, de la méthodologie de conception centrée sur l’utilisateur, avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.

Conditions du stage

Le stage se déroulera au laboratoire IBISC. Une plateforme logicielle et matérielle, ainsi que des environnements virtuels, sont mis à disposition. Le stagiaire interagira avec les membres de l’équipe projet ainsi qu’avec d’autres doctorants et stagiaires de l’équipe.

Durée : 6 mois (entre février et octobre 2026, selon disponibilités) Gratification minimale légale (environ 650€/mois)

Une prolongation en thèse est possible pour un.e excellent.e candidat.e.

Contact

Merci de faire parvenir une lettre de motivation, un CV, et les relevés de notes du Master 1 et/ou Master 2 à : Please send a cover letter, a CV, and the transcripts from Master 1 and/or Master 2 to:

Amine CHELLALI 01 69 47 75 33

https://www.ibisc.univ-evry.fr

Laboratoire IBISC EA 4526 – Équipe IRA2 Bâtiment Pelvoux 2, IUP

36, Rue du Pelvoux 91080 EVRY-COURCOURONNES

References

Chellali A, Mentis H, Miller A, Ahn W, Arikatla V, Sankaranarayanan G, Schwaitzberg S, Cao C (2016) Achieving Interface and Environment Fidelity in the Virtual Basic Laparoscopic Surgical Trainer. IJHCS 96: 22–37 HAL
Chellali A, Dumas C, Milleville-Pennel I (2012) Haptic communication to support biopsy procedures learning in virtual Presence: Teleoperators and Virtual Environments 21(4): 470–489
Mentis HM, Feng Y, Semsar A, Ponsky TA (2020) Remotely Shaping the View in Surgical Proceedings of the CHI Conference on Human Factors in Computing Systems, pp 1–14
Le Chénéchal M, Duval T, Gouranton V, Royan J, Arnaldi B (2019) Help! I Need a Remote Guide in My Mixed Reality Collaborative Frontiers in Robotics and AI 6: 106
Chengyuan, Edgar, Maria, et (2020) How About the Mentor? Effective Workspace Visualization in AR Telementoring. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
Lee G, Kang H, Lee J, Han J (2020) A User Study on View-sharing Techniques for One-to-Many Mixed Reality 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
Wang J, Chellali A, Cao CGL (2016) Haptic communication in collaborative virtual Human factors 58: 496–508 HAL
Ricca, Chellali, A., Otmane, S. (2020) Influence of hand visualization on tool-based motor skills training in an immersive VR simulator. In the proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp 339-347 HAL
Simon, C., Otmane, S., & Chellali, A. (2022). Comparing modalities to communicate movement amplitude during tool manipulation in a shared learning virtual In International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE 2022). The Eurographics Association, pp 1-10. HAL
Simon, C., Boukli-Hacene, M., Lebrun, , Otmane, S., & Chellali, A. (2024, March). Impact of multimodal instructions for tool manipulation skills on performance and user experience in an immersive environment. In 2024 IEEE Conference Virtual Reality and 3D User Interfaces (VR) (pp. 670-680). IEEE. HAL
Lebrun, F. , Simon, C., Boukezzi, A., Otmane, S., & Chellali, A. (2025). Mentor-Guided Learning in Immersive Virtual Environments: The Impact of Visual and Haptic Feedback on Skill Acquisition. IEEE Transactions on Visualization and Computer Graphics. HAL

TITLE : Design and evaluation of an immersive training scenario for robotic teleoperation with haptic feedback

Keywords

Mixed Reality, Collaborative Robotics, Teleoperation, Haptic Interactions, Collaborative Interactions, Apprenticeship, Training in Technical Gestures.

Context

This internship is in the fields of human–robot interaction and mixed reality applied to the training of technical skills. It aims to study multimodal and collaborative interactions, allowing an instructor to teach technical skills of robotic teleoperation to a trainee in a mixed reality environment. It will be carried out within the framework of a project in collaboration with the ISIR laboratory.

Problematic

The transmission of complex technical skills has traditionally relied on an apprenticeship model in which a learner observes and then reproduces the actions of an expert. However, in the context of robotic teleoperation, the high level of precision required, the limited availability of experts, and the complexity of the interfaces make training based solely on direct practice insufficient. This highlights the need for new pedagogical approaches, based on simulation and mixed reality, that support progressive, safe, and reproducible acquisition of technical skills. Immersive technologies offer promising opportunities to structure training while preserving meaningful interactions between experts and novices.

Mixed reality simulators can play a major role in this transition. Yet, existing tools are often designed for autonomous learning and do not natively incorporate the active presence of a tutor.

This project aims to design a training scenario grounded in multimodal and collaborative interactions, supported by innovative interfaces that integrate haptic devices and a collaborative robot. The system will enable an expert to guide and support a learner in real time through both a teleoperated robot and an immersive environment, thereby facilitating skill transfer while keeping the instructor “in the loop.”

Our initial work has already explored different forms of expert–novice interactions [9, 10, 11] and has led to the development of a software platform (SPHERE), based on ROS2, capable of integrating multiple interfaces and robotic systems (Fig. 1).

The objective of this internship is to implement a complete training scenario for a specific technical gesture using these technologies, and to design and conduct an experimental study to evaluate the system in terms of both usability and skill acquisition.

Tasks

Conduct a literature review of the field,
Build on existing studies and the team’s platforms to design and develop a remote apprenticeship system,
Set up an experimental protocol to evaluate the system,
Conduct the experimental study and analyze the results,
Contribute to the publication of the results in a national or international

Required skills and qualities

Master’s level (M2) or final year of engineering school, solid programming skills (Unity/C# and ROS2/C++), knowledge in robotics, haptic interfaces, mixed reality, user-centered design methodology, interest in research, teamwork, and interdisciplinary exchange.

Internship conditions

The internship will take place at the IBISC laboratory. A software and hardware platform, as well as virtual environments, are The intern will interact with the project members and other PhD students and interns of the team.
Duration: 6 months (between February and October 2026, depending on availability)
Legal minimum compensation (about €650/month)
A PhD continuation is possible for an excellent candidate.