Dossier

55 : L’interaction entre le monde réel et le monde virtuel

Longtemps associée aux jeux vidéo, la technologie de réalité virtuelle a connu depuis un essor important, particulièrement dans le domaine de la formation. La « démocratisation » des casques de réalité virtuelle n’y est pas étrangère. Le nombre de casques vendus a explosé passant de 5 millions d’unités en 2014 à 68 millions en 2020, leur coût a chuté et la technologie elle-même a évolué. On parle aujourd’hui de technologies immersives incluant réalité virtuelle, réalité augmentée et réalité mixte. L’UTC a été relativement pionnière puisqu’elle a introduit, dès 2001, un enseignement en réalité virtuelle et lancé, au sein du laboratoire Heudiasyc, des recherches tant sur le plan fondamental qu’applicatif. L’interaction entre le monde réel et le monde virtuel ouvre en effet des champs d’applications immenses notamment en lien avec la robotique. On peut par exemple interagir avec un drone qui cartographie les dégâts causés lors d’une catastrophe naturelle dans des endroits devenus inaccessibles. Évidemment ces nouvelles possibilités peuvent être utilisées à des fins de malveillance, ce qui pose des problèmes éthiques. Les enseignants-chercheurs de l’UTC en sont conscients.

55 : L’interaction entre le monde réel et le monde virtuel

Essor de la réalité virtuelle et de la réalité augmentée

Enseignante-chercheuse, Indira Thouvenin crée, à son arrivée à l’UTC en 2001, une activité de réalité virtuelle (RV) et, plus récemment, de réalité augmentée (RA). Une activité qui se décline tant au niveau de l’enseignement que de la recherche.

Rattachée dans un premier temps au laboratoire Roberval, elle rejoint, en 2005,l'UMR CNRS Heudiasyc. Parmi ses champs de recherches ? "Je travaille sur l'interaction informée en environnement virtuel. Autrement dit, une interaction "intelligente" où la RV va s'adapter à l'utilisateur. Ce qui passe par l'analyse des gestes, du comportement, du regard de l'utilisateur... On définit ensuite des descripteurs sur son niveau d'attention, d'intention, de concentration ou de compréhension, par exemple. Je travaille également sur l'interaction en environnement augmenté. Il s'agit de concevoir dans ce cas des assistances explicites et implicites, ces dernières étant invisibles pour l'utilisateur", explique-t-elle.

Des recherches qui débouchent sur des applications adaptées, entre autres, aux domaines de la formation, de la santé, de l'éducation ou encore de l'industrie. "Les descripteurs nous permettent de définir l'attitude de l'utilisateur, notamment,son niveau de concentration ou de distraction, de compétences : a-t-il déjà de l'expérience, ou est-il débutant ? À partir de toutes ces données, on va opérer une sélection de "retours sensoriels" ou feedbacks adaptatifs puisque la RV fait appel à du retour visuel, sonore, tactile ou encore haptique. Tous ces retours sensoriels vont ainsi nous permettre d'aider l'utilisateur à comprendre l'environnement sans lui imposer tous les retours mais seulement ceux qui lui conviennent le mieux. Une modélisation de l'interaction en environnement virtuel très personnalisée en somme", détaille Indira Thouvenin.

Un travail qui demande énormément de simulation. "Pour ma part, je travaille sur trois plateformes de simulation dédiées respectivement au ferroviaire, au véhicule autonome et à la RV. Celle-ci est constituée de deux équipements principaux : les casques de RV destinés, en particulier, à l'enseignement, et le système Cave (cave automatic virtual environment, c'est-à-dire une salle immersive) dans lequel on peut visualiser à l'échelle 1. Nous possédons un Cave à quatre faces, chacune supportant un écran avec un système de rétroprojection situé à l'arrière. L'affichage sur les écrans se fait en stéréoscopie ou en 3D. Le Cave permet de voir son propre corps, alors que dans un casque il faut reconstruire un corps virtuel", explique Yohan Bouvet, responsable du pôle simulation d'Heudiasyc.

Aujourd'hui, réalité virtuelle et réalité augmentée sont en plein essor dans des domaines variés. D'où la multiplication des projets tant sur le plan académique que sur le plan applicatif. Un projet phare de réalité augmentée ? "On travaille avec le Voxar, un laboratoire brésilien spécialisé dans la réalité augmentée, afin de développer un pare-brise augmenté pour la voiture semi autonome. Un projet qui fait l'objet du doctorat de Baptiste Wojtkowski, dans le cadre de la chaire d'excellence sur les surfaces intelligentes pour le véhicule du futur, financée par Saint-Gobain, la fondation UTC, le Feder (Fonds européens) et la région Hauts-de-France", souligne t-elle.

Concrètement ? "Il s'agira de définir ce que l'on va visualiser sur ce vitrage du futur. Doit-on mettre des feedbacks visuels de RA ? Comment et à quel moment ? Quand est-ce que l'utilisateur a besoin de comprendre l'état dans lequel est le robot (véhicule) et que comprend le véhicule des actions de l'utilisateur ? En temps réel, on ne va pas afficher tout le temps les mêmes feedbacks mais prendre en compte la fatigue, la concentration ou déconcentration éventuelles de l'utilisateur", précise Indira Thouvenin.

D'autres projets en cours ? "Il y a notamment celui sur le "toucher social" entre un agent virtuel incarné dans le Cave et un humain. C'est un projet financé par l'ANR, porté par Télécom Paris, intégrant Heudiasyc et l'ISIR (laboratoire de robotique de l'UPMC). Dans ce projet nommé "Social touch", Fabien Boucaud réalise son doctorat et développe le modèle de décision de l'agent. Enfin, dernier projet en cours : l'équipex Continuum. L'idée ? Fédérer la majorité des plateformes de RV, trente en tout en France, afin de faire avancer la recherche interdisciplinaire entre l'interaction homme-machine, la réalité virtuelle et les sciences humaines et sociales", conclut-elle.