Field of activity
Les recherches de l’équipe IRA2 portent sur la conception, la réalisation et l’évaluation de systèmes d’assistance à la personne dans son environnement (intérieur ou extérieur). La diversité, la complexité et l’imprévisibilité de l’environnement nécessite l’utilisation et la maîtrise de systèmes complexes artificiels (capteurs et robots hétérogènes) a n d’assurer ces assistances. Les travaux de recherches sont mis en oeuvre et évalués sur différentes plateformes dont EVR@ et ARPH. La problématique consiste à lever des verrous technologiques et scientifiques permettant la perception, l’interaction et l’aide à la décision à la personne. Il s’agit de proposer :
– objectif 1 : des assistances multisensorielles et collaboratives, à l’interaction et à la prise de décision à la personne en situation d’immersion ou de semi immersion dans un monde virtuel (réalité virtuelle).
– objectif 2 : des assistances à la personne en interaction directe avec l’environnement réel augmentée (réalité augmentée).
– objectif 3 : des fonctionnalités à un “robot assistant” coopérant avec l’opérateur et évoluant dans un environnement domotique (robotique ambiante).
Le champ d’application de ces assistances est trés diversi é. Il concerne aussi bien les personnes valides ou en perte d’autonomie. La personne pouvant être assistée à domicile, en institution, en itinérance (mobilité pédestre ou motorisée), ou dans un milieu professionnel.
Interactions en réalité mixte et travail collaboratif
Interaction en Réalité Mixte (IRM) : Les recherches sont focalisées sur l’assistance à l’interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels. Dans cet axe de recherche, une réflexion particulière est menée sur la manière dont on peut aider l’Homme à interagir (naviguer, sélectionner, manipuler et contrôler l’application) d’une manière efficace et crédible avec son environnement. Cette réflexion nous a conduit à proposer des modèles et des techniques logicielles pour l’assistance à l’interaction 3D en réalité mixte. Les travaux dans cet axe ont commencé suite à l’acquisition de la plateforme de réalité virtuelle et augmentée EVR@ en 2004 qui est indispensable pour l’étude et l’évaluation des techniques d’interactions 3D en réalité mixte.
Les verrous scientifiques traités sont ceux liés aux problèmes : 1) de la latence de l’interaction homme-système ; 2) de performance et de crédibilité des techniques d’interaction 3D vis à vis de la tâche ; 3) d’adaptabilité de l’interaction 3D vis à vis des interfaces de réalité virtuelle et du contexte de la tâche (interaction sensible au contexte). Ce dernier verrou est traité en collaboration avec l’équipe SIMOB d’IBISC.
Travail collaboratif (TC) : Les recherches sont motivées par l’utilisation des collecticiels synchrones et en particulier l’utilisation des EVCs (Environnements Virtuels Collaboratifs) par plusieurs personnes simultanément. Dans cet axe de recherche, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et adapter une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d’assister une activité de collaboration (communication, coordination et co-production).
Les verrous scientifiques traités sont ceux liés aux problèmes : 1) de malléabilité des systèmes de collaboration (collecticiels) pour la prise en compte des nouveaux besoins qui émergent pendant la collaboration des utilisateurs ; 2) de coordination des interactions du groupe (interaction collaborative) dans les EVCs (Environnements Virtuels Collaboratifs).
L’ensemble de ces travaux ont donné lieu à plusieurs publications et livrables des projets de recherche : ANR RIAM DigitalOcean 2006-2009, Européen FP6 VENUS 2006-2009, Européen FP7 RSME DigitalOcean 2011-2012.
Réalité Augmentée (RA)
L’activité de recherche de ce thème, qui consiste à satisfaire le second objectif dè ni dans la problématique générale, est de concevoir des systèmes capables de faire coexister spatialement et temporellement un monde virtuel avec l’environnement réel. Cette coexistence a pour objectif l’enrichissement de la perception de l’utilisateur de son environnement réel par des augmentations visuelles, sonores ou haptiques. L’environnement peut être un espace intérieur (“indoor”) ou bien extérieur (“outdoor”). L’utilisateur peut être présent dans l’environnement réel ou peut le percevoir à distance. Dans le cas où l’utilisateur est présent sur le site réel, les augmentations visuelles peuvent se faire en vision directe (port de lunettes see through) ou en vision indirecte sur écran.
Nous nous sommes positionné trés tôt dans le domaine de la RA. Les recherches entreprises concernent la modélisation et la calibration de capteurs hybrides, la prédiction et le recalage 3D, la reconnaissance et le suivi hybride robuste et temps réel d’objets en présence d’occultations. Un des points forts est le développement de techniques de suivi hybride et robuste (tracking basé sur des informations visuelle et inertielle, d’objets en présence d’occultations).
La RA étant par essence pluri-disciplinaire, cela se refl ète dans les développements informatiques associés à ce champ de recherche. Réaliser une application dans ce contexte doit tenir compte des exigences spéci ques au domaine et des exigences génériques liées à tout développement informatique.
Ces exigences sont classiquement réparties en exigences fonctionnelles (liées au coeur de métier de l’application) et en exigences non fonctionnelles (transverses et non liées au c÷ur de métier). C’est cette derniére catégorie à laquelle nous nous intéressons de manière à faciliter le travail du développeur qui peut alors se concentrer sur la partie métier (pour la RA, il s’agit, entre autres, des algorithmes de traitement d’image, des problématiques de localisation et de recalage ainsi que de l’élaboration de solutions permettant l’interaction dans un espace de Réalité Mixte).
Dans un premier temps, nous nous sommes attachés à fournir des solutions modulaires et standardisées reposant sur la programmation par composants de manière à faciliter les développements dans un domaine où les capteurs et eecteurs ont un support parfois expérimental et où les algorithmes évoluent rapidement. Ce paradigme de programmation s’est avéré utile et facilite le prototypage rapide d’applications de RA tout en permettant de substituer simplement des composants par d’autres lors de l’évolution d’une des techniques ou technologies associées.
Les résultats obtenus lors de cette premiére phase ont été employés dans le projet ANR RAXENV (Réalité augmentée en extérieur appliquée à l’environnement ANR06-TLOG14 2007-2010).
Interactions en réalité mixte et travail collaboratif
La thématique Robotique Ambiante s’intéresse principalement aux apports des méthodes et technologies de la robotique, aux personnes en perte d’autonomie, handicapées ou âgées. Le robot assiste la personne et/ou son entourage soit de manière autonome soit en étant téléopéré par un utilisateur présent localement ou distant.
Notre positionnement est original par rapport à la communauté de la robotique d’assistance, car nous pensons que la robotique autonome n’est pas suffisamment mature pour répondre au problème sociétal posé par la perte d’autonomie. Face à la diversité des situations, des utilisateurs, des robots et des tâches, nous proposons une réponse à “géométrie variable” basée sur la mise à disposition de l’utilisateur de modes de commande allant de la téléopération assistée (dans laquelle c’est l’opérateur qui est assisté) jusqu’à l’autonomie assistée (dans laquelle c’est le robot qui est assisté). La nécessité de faire vivre une variété de modes de commande a été confirmée à l’usage par les résultats expérimentaux des projets QuoVADis (ANR TecSan, 2009-2012), projet ANR RobautiStic (2007-2010 et Companionable (Européen IP, 2008-1013). Les réponses apportées se doivent de respecter les contraintes médicales, éthiques et socio-économiques spécifiques à ce champ d’application. C’est pourquoi, nos projets sont fortement pluridisciplinaires comme en témoigne le partenariat qui inclut des équipes médicales, des associations d’utilisateurs ainsi que des équipes de sciences humaines et sociales et de neurosciences. Les difficultés à résoudre dépendent du mode de commande, c’est pourquoi deux axes de recherche sont développés.
Le premier axe, téléopération assistée, porte sur l’assistance de l’opérateur en situation de téléopération, agissant sur l’environnement par l’intermédiaire du robot. Le deuxième axe, autonomie assistée, cherche à fiabiliser l’autonomie du robot en profitant d’une coopération avec un environnement intelligent doté de capteurs, d’actionneurs et plus généralement d’objets communicants (intelligence ambiante). Cette activité a requis l’élargissement du champ des compétences à l’informatique distribuée et ubiquitaire.
En savoir plus
Projets de l’équipe
Consultez les projets sur lesquels travaillent l’équipe ainsi que les projets réalisés
Publications de l’équipe
Régulièrement l’équipe publie des articles, thèses et autres documents en rapports avec ses recherches
Fiche de l’équipe
Consultez les projets sur lesquels travaillent l’équipe ainsi que les projets réalisés
Télécharger la fiche de l’équipe →