55 : L’interaction entre le monde réel et le monde virtuel
Longtemps associée aux jeux vidéo, la technologie de réalité virtuelle a connu depuis un essor important, particulièrement dans le domaine de la formation. La « démocratisation » des casques de réalité virtuelle n’y est pas étrangère. Le nombre de casques vendus a explosé passant de 5 millions d’unités en 2014 à 68 millions en 2020, leur coût a chuté et la technologie elle-même a évolué. On parle aujourd’hui de technologies immersives incluant réalité virtuelle, réalité augmentée et réalité mixte. L’UTC a été relativement pionnière puisqu’elle a introduit, dès 2001, un enseignement en réalité virtuelle et lancé, au sein du laboratoire Heudiasyc, des recherches tant sur le plan fondamental qu’applicatif. L’interaction entre le monde réel et le monde virtuel ouvre en effet des champs d’applications immenses notamment en lien avec la robotique. On peut par exemple interagir avec un drone qui cartographie les dégâts causés lors d’une catastrophe naturelle dans des endroits devenus inaccessibles. Évidemment ces nouvelles possibilités peuvent être utilisées à des fins de malveillance, ce qui pose des problèmes éthiques. Les enseignants-chercheurs de l’UTC en sont conscients.
Professeur des universités, Philippe Bonnifait est, depuis janvier 2018, directeur du laboratoire Heudiasyc, créé en 1981. Un laboratoire de pointe dédié aux sciences du numérique. Un laboratoire spécialisé dans les méthodes scientifiques liées à l’intelligence artificielle, la robotique, l’analyse des données, l’automatique ou encore la réalité virtuelle.
Créé en 1981 et associé au CNRS depuis sa fondation, le laboratoire Heudiasyc (Heuristique et diagnostic des systèmes complexes) est rattaché à l’INS2I (Institut des sciences de l’information et de leurs interactions), un des dix instituts du CNRS, dirigé par Ali Charara, son précédent directeur.
Une des particularités d’Heudiasyc ? “C’est un laboratoire qui regroupe des chercheurs en informatique et en génie informatique, deux spécialités souvent séparées ; un des premiers laboratoires à avoir cette vision-là en France”,explique Philippe Bonnifait.
Le monde de l’informatique étant par nature évolutif, les thématiques abordées par les enseignants chercheurs du laboratoire ont, tout naturellement, évolué. Pour preuve ? Le développement de recherches dans le domaine de la réalité virtuelle. “Un développement qui coïncida avec l’arrivée d’Indira Thouvenin en 1995 à l’UTC, une personnalité très reconnue dans son domaine. Les projets portés par Indira étant en forte interaction avec la cognition, les sciences humaines et sociales, ils impliquèrent, de fait, de nombreuses collaborations avec d’autres laboratoires, notamment Costech”, souligne-t-il.
Depuis la restructuration du laboratoire en janvier 2018 et le passage de quatre à trois équipes — CID (Connaissances, incertitudes, données), SCOP (Sûreté, communication, optimisation) et SyRI (Systèmes robotiques en interaction) -, des thématiques interdisciplinaires ont été identifiées. C’est le cas de la réalité virtuelle, un sujet éminemment transversal, qui se trouve ainsi “à cheval” entre l’équipe SyRI et CID. “Au sein de CID, on s’intéresse aux systèmes adaptatifs et à la personnalisation des systèmes ; des thématiques où l’on retrouve nombre d’éléments en lien avec les environnements immersifs, un des domaines de recherche de Domitile Lourdeaux. Au sein de SyRI, où se retrouve Indira Thouvenin, on s’intéresse, en particulier, à la robotique avec des sujets tels que l’autonomie des robots — véhicules intelligents et drones pour notre part -, le contrôle, la perception et la fusion des données ou encore les systèmes multi-robots en interaction”, détaille Philippe Bonnifait. En clair ? “Dans le cas de multi-robots, on assiste à trois types d’interactions : celles avec leur environnement, celles avec d’autres robots et enfin celles avec les humains. C’est très important, à mes yeux, de remettre l’humain au centre dans tous les projets que l’on développe. Si l’on prend le cas concret du pare-brise du futur par exemple, un projet d’Indira, il s’agit de faire de la réalité mixte sur le pare-brise, de l’affichage en tête haute, une application destinée au véhicule autonome à terme”, précise-t-il.
Des interactions évolutives puisque l’on parle, de plus en plus, de systèmes autonomes en symbiose. “On tend vers la symbiose des machines intelligentes avec les humains dans un grand nombre de domaines. Un exemple entre autres ? Le robot Xenex, une invention américaine, qui a été déployé dans nombre d’hôpitaux pour la désinfection des chambres à l’aide de rayons UV. Ce qui est très utile, particulièrement par ces temps de Covid “, décrit-il. Si, dans ce cas précis, on a affaire à une machine réellement autonome, ce n’est pas le cas de tous les secteurs. “Prenons les drones. Ils ont toujours besoin d’un télépilote, et ce que l’on essaie de faire à Heudiasyc, c’est d’avoir un télépilote pour plusieurs drones ; un télépilote qui puisse reprendre le contrôle en cas de pépin, car un drone dans une foule, par exemple, peut engendrer des tas de dégâts. C’est le cas également du véhicule autonome qui, même à terme, aura besoin de la vigilance du conducteur. Une voie médiane s’offre cependant à nous : aller vers cette symbiose humain-machine pour que l’on puisse imaginer de nouvelles façons de conduire”, ajoute Philippe Bonnifait.
L’interaction entre le monde réel et le monde virtuel ouvre des champs d’applications immenses. Pour le meilleur — le drone qui surveille l’état de sécheresse de certains territoires — comme le pire — certaines applications militaires. Ce qui pose des problèmes éminemment éthiques. “Pendant longtemps, l’éthique était restée assez éloignée de nos préoccupations, mais les évolutions technologiques de ces dix dernières années, avec des utilisations dangereuses voire mortifères, l’ont replacée au centre des réflexions des chercheurs en intelligence artificielle “, conclut-il.
Enseignante-chercheuse, Indira Thouvenin crée, à son arrivée à l’UTC en 2001, une activité de réalité virtuelle (RV) et, plus récemment, de réalité augmentée (RA). Une activité qui se décline tant au niveau de l’enseignement que de la recherche.
Rattachée dans un premier temps au laboratoire Roberval, elle rejoint, en 2005,l’UMR CNRS Heudiasyc. Parmi ses champs de recherches ? “Je travaille sur l’interaction informée en environnement virtuel. Autrement dit, une interaction “intelligente” où la RV va s’adapter à l’utilisateur. Ce qui passe par l’analyse des gestes, du comportement, du regard de l’utilisateur… On définit ensuite des descripteurs sur son niveau d’attention, d’intention, de concentration ou de compréhension, par exemple. Je travaille également sur l’interaction en environnement augmenté. Il s’agit de concevoir dans ce cas des assistances explicites et implicites, ces dernières étant invisibles pour l’utilisateur”, explique-t-elle.
Des recherches qui débouchent sur des applications adaptées, entre autres, aux domaines de la formation, de la santé, de l’éducation ou encore de l’industrie. “Les descripteurs nous permettent de définir l’attitude de l’utilisateur, notamment,son niveau de concentration ou de distraction, de compétences : a‑t-il déjà de l’expérience, ou est-il débutant ? À partir de toutes ces données, on va opérer une sélection de “retours sensoriels” ou feedbacks adaptatifs puisque la RV fait appel à du retour visuel, sonore, tactile ou encore haptique. Tous ces retours sensoriels vont ainsi nous permettre d’aider l’utilisateur à comprendre l’environnement sans lui imposer tous les retours mais seulement ceux qui lui conviennent le mieux. Une modélisation de l’interaction en environnement virtuel très personnalisée en somme”, détaille Indira Thouvenin.
Un travail qui demande énormément de simulation. “Pour ma part, je travaille sur trois plateformes de simulation dédiées respectivement au ferroviaire, au véhicule autonome et à la RV. Celle-ci est constituée de deux équipements principaux : les casques de RV destinés, en particulier, à l’enseignement, et le système Cave (cave automatic virtual environment, c’est-à-dire une salle immersive) dans lequel on peut visualiser à l’échelle 1. Nous possédons un Cave à quatre faces, chacune supportant un écran avec un système de rétroprojection situé à l’arrière. L’affichage sur les écrans se fait en stéréoscopie ou en 3D. Le Cave permet de voir son propre corps, alors que dans un casque il faut reconstruire un corps virtuel”, explique Yohan Bouvet, responsable du pôle simulation d’Heudiasyc.
Aujourd’hui, réalité virtuelle et réalité augmentée sont en plein essor dans des domaines variés. D’où la multiplication des projets tant sur le plan académique que sur le plan applicatif. Un projet phare de réalité augmentée ? “On travaille avec le Voxar, un laboratoire brésilien spécialisé dans la réalité augmentée, afin de développer un pare-brise augmenté pour la voiture semi autonome. Un projet qui fait l’objet du doctorat de Baptiste Wojtkowski, dans le cadre de la chaire d’excellence sur les surfaces intelligentes pour le véhicule du futur, financée par Saint-Gobain, la fondation UTC, le Feder (Fonds européens) et la région Hauts-de-France”, souligne t‑elle.
Concrètement ? “Il s’agira de définir ce que l’on va visualiser sur ce vitrage du futur. Doit-on mettre des feedbacks visuels de RA ? Comment et à quel moment ? Quand est-ce que l’utilisateur a besoin de comprendre l’état dans lequel est le robot (véhicule) et que comprend le véhicule des actions de l’utilisateur ? En temps réel, on ne va pas afficher tout le temps les mêmes feedbacks mais prendre en compte la fatigue, la concentration ou déconcentration éventuelles de l’utilisateur”, précise Indira Thouvenin.
D’autres projets en cours ? “Il y a notamment celui sur le “toucher social” entre un agent virtuel incarné dans le Cave et un humain. C’est un projet financé par l’ANR, porté par Télécom Paris, intégrant Heudiasyc et l’ISIR (laboratoire de robotique de l’UPMC). Dans ce projet nommé “Social touch”, Fabien Boucaud réalise son doctorat et développe le modèle de décision de l’agent. Enfin, dernier projet en cours : l’équipex Continuum. L’idée ? Fédérer la majorité des plateformes de RV, trente en tout en France, afin de faire avancer la recherche interdisciplinaire entre l’interaction homme-machine, la réalité virtuelle et les sciences humaines et sociales”, conclut-elle.
Chercheur CNRS au sein d’Heudiasyc, Pedro Castillo est rattaché à l’équipe Systèmes robotiques en interaction (SyRI). Il est spécialisé en commande automatique appliquée à la robotique. Ses recherches portent, en particulier, sur la commande automatique des drones, des drones autonomes mais aussi, plus récemment, des drones virtuels.
Arrivé du Mexique doté d’une bourse,Pedro Castillo entame, en 2000, une thèse en automatique, plus particulièrement sur la commande automatique des drones, à l’UTC.
Thèse qui lui a valu, début 2004, le prix de la meilleure thèse en automatique au niveau national. Pendant ces années, il enchaîne les postdocs aux États-Unis au Massachusetts Institute of Technology (MIT), en Australie et en Espagne, puis postule au CNRS qu’il rejoint en 2005 au sein de l’unité mixte d’Heudiasyc où il poursuit ses travaux de recherche sur la commande des drones en miniature. “Dès 2002, durant ma thèse, nous avions mené les premiers tests. Nous étions la première équipe en France à travailler sur ce sujet à l’époque et une des premières à développer un drone autonome à quatre rotors”, précise-t-il.
Ce qui explique la reconnaissance dont jouit le laboratoire dans ce domaine tant au niveau de la recherche théorique qu’expérimentale. “Heudiasyc est connu pour avoir développé des plateformes fondamentales. Et c’est durant ma thèse que l’on a commencé à développer des plateformes expérimentales dédiées à l’aérien afin de valider les recherches théoriques que l’on menait. Dès 2005, on a travaillé à la mise en place d’une plateforme commune de validation des systèmes de contrôle des drones aériens qui a été achevée en 2009”, explique-t-il.
Alors que nombre de chercheurs misent sur le drone autonome, Heudiasyc a fait un autre pari. “On s’est rendu compte que l’on ne peut laisser toute la tâche à un drone. Il peut y avoir des situations qu’il ne saura pas gérer. Dans ce cas de figure, il faut que l’humain puisse prendre la main. En robotique, on parle de boucle de commande où l’humain peut à tout moment interagir avec le robot “, souligne Pedro Castillo.
Jusqu’à récemment, en matière d’interactions humain-machine, ce sont les approches plutôt classiques qui ont dominé. Celles où l’on utilise des manettes, des joysticks ou encore la télé-opération qui, grâce à un retour du système vers l’opérateur, permet la commande d’un robot déporté. L’idée d’introduire de la réalité virtuelle ? “C’est d’introduire un retour visuel mais aussi sonore. En un mot : voir ce que le robot voit en le dotant de caméras et pouvoir entendre notamment en cas de problème moteur, par exemple. Ce qui va faciliter la commande et donc la navigation du drone”, précise-t-il.
Mais Pedro Castillo et Indira Thouvenin décident d’aller plus loin et d’explorer une nouvelle thématique : la robotique virtuelle. “On a ainsi décidé de représenter notre volière (salle de tests des drones aériens) dans le Cave, une technologie hautement immersive. On a également créé un petit drone virtuel que l’on peut manipuler, auquel on peut imposer différentes trajectoires et mener diverses missions. C’est en quelque sorte un assistant du drone réel, puisque ce dernier va ensuite effectuer toutes les tâches que l’opérateur va indiquer au drone virtuel”, explique Pedro Castillo.
Des applications concrètes ? “On s’intéresse pour notre part aux applications civiles et elles sont nombreuses. On peut citer l’inspection de bâtiments, par exemple, ou la survenue d’une quelconque catastrophe naturelle. Il peut y avoir des endroits inaccessibles et les drones nous permettent de faire un état des lieux des dégâts matériels ou humains et agir rapidement et au bon endroit “, conclut-il.
Chercheur CNRS, Sébastien Destercke est responsable de l’équipe Connaissances, incertitudes, données (CID) au sein d’Heudiasyc. Son domaine de recherches concerne la modélisation et le raisonnement dans l’incertain, en particulier en présence d’incertitudes fortes ou sévères.
Concrètement ? ” On parle d’incertitudes fortes lorsque l’on est en présence de données manquantes ou imprécises, d’informations pauvres ou qualitatives.
L’idée ?Il s’agit de modéliser ce type d’informations dans un langage mathématique afin de réaliser des tâches de raisonnement. Cela peut être de l’apprentissage automatique, c’est-à-dire apprendre à partir d’exemples, ou prendre des décisions dans l’incertain “, explique Sébastien Destercke.
Le passage vers la réalité virtuelle ? “Au sein d’Heudiasyc, nous avons une forte expertise dans les théories généralisant les probabilités comme les théories de l’évidence ou celles des probabilités imprécises. Il s’agit de langages mathématiques riches qui vont permettre de modéliser l’incertitude et l’incomplétude de l’information de manière très fine. Une telle expressivité est particulièrement utile dans certaines applications de la réalité virtuelle, et notamment dans l’aide à la formation. Parmi les incertitudes nécessitant une modélisation fine, on peut citer celles concernant le profil de compétence de l’apprenant, voire son état émotionnel. La prise en compte de l’incertitude dans le raisonnement permettra notamment une meilleure adaptation des scénarios de formation, qui pourront être mieux personnalisés pour chaque profil”, ajoute-t-il.
Ces travaux sur l’incertain ont, entre autres, mené au projet Kiva construit autour d’un “environnement virtuel informé pour la formation au geste technique dans le domaine de la fabrication de culasses en aluminium” ; projet primé dans la catégorie “Training and Education” au salon Laval Virtual. L’objectif de Kiva ? ” Nous nous sommes concentrés sur un geste de formation : comment souffler les impuretés à la surface des culasses sorties du moulage ? Le but ? Faire en sorte que l’apprenant reproduise le geste “expert”. Or, dans cette situation, nous avons au moins deux sources d’incertitudes : d’une part, le geste “expert” peut changer d’un expert à un autre et, d’autre part, la reconnaissance du geste qui ne peut pas se faire parfaitement. La personne en formation est bardée de capteurs ; elle va faire des mouvements qui ne sont pas nécessairement réguliers ni récoltés d’une manière continue. Cela nous donne une information partielle à partir de laquelle on doit définir la reconnaissance de geste de la personne en formation et essayer de mesurer en quoi ce geste est en adéquation avec le geste “expert”. Or, dans le système qui guidera l’apprenant, il est nécessaire d’inclure ces sources d’incertitudes”, décrit Sébastien Destercke.
Un geste “expert” que l’apprenant est amené à reproduire dans un Cave. “L’utilisation de la réalité virtuelle en entreprise pour des objectifs de formation est récente. Elle était jusqu’ici souvent limitée à l’amélioration de l’ergonomie des postes de travail, où les thématiques liées à l’interaction homme-machine sont moins critiques. Avec les objectifs de formation, elles deviennent fondamentales”, conclut-il.
Maîtresse de conférences, Domitile Lourdeaux est membre de l’équipe Connaissances, incertitudes, données (CID) au sein d’Heudiasyc. Ses recherches portent sur les systèmes adaptatifs personnalisésen réalité virtuelle.
Un champ de recherches qu’elle ne cesse d’explorer depuis sa thèse. “Je m’intéresse à l’adaptation de contenus scénaristiques en fonction d’un profil dynamique de l’utilisateur et, plus particulièrement, aux environnements virtuels dédiés à la formation. Comme il s’agit d’apprenants, je travaille notamment sur l’adaptation des contenus pédagogiques et de la narration. En un mot : comment va-t-on mettre en scène des situations d’apprentissage en réalité virtuelle (RV)”, explique Domitile Lourdeaux.
Les domaines d’application sont divers et les projets passés ou en cours l’attestent. Il y a eu Victeams sur la formation de “leaders médicaux”, projet financé par l’ANR et la Direction générale des armées (DGA) et en cours Orchestra a ainsi qu’Infinity¹, un projet européen impliquant onze pays et vingt partenaires dont Manzalab, coordonnés par Airbus Defense and Space. Le premier a été lancé en novembre 2019 grâce à un financement de la DGA et a pour partenaires Réviatech, Thalès ainsi que CASPOA, un centre d’excellence de l’OTAN, le second en juin 2020 ; les deux pour une durée de trois ans.
“Orchestraa vise à former des leaders en commandement aérien dans des centres d’opérations aériennes militaires. Il y a environ quarante personnes dans la salle qui coordonnent des opérations militaires. L’apprenant est doté d’un casque de RV et interagit avec son équipe constituée de personnages virtuels autonomes ; ces derniers étant en lien avec des pilotes de chasse, d’hélicoptères, des drones, etc. Ils vont donc jouer un scénario prévu plusieurs jours à l’avance mais le jour J, il peut y avoir des aléas perturbant le scénario d’origine et qu’ils doivent pouvoir gérer. Il peut s’agir de demandes d’appui aérien imprévues initialement ou d’un avion qui se crashe, auquel cas il faut aller sauver les pilotes au sol. Ces aléas vont nécessiter une réallocation des moyens créant, in fine, une réaction en chaîne impactant toute l’opération. Dans ce cas de figure, l’adaptation concerne la difficulté du scénario qui va croissant en fonction de ce que l’apprenant est capable de gérer. Ce qui lui demandera de faire preuve de compétences progressives”, détaille-t-elle.
Infinity pour sa part concerne un tout autre domaine. Ce projet européen d’envergure vise à fournir des outils — intelligence artificielle, RV pour la visualisation et l’analyse des données — afin d’améliorer la collaboration des polices européennes dans les enquêtes menées contre la cybercriminalité et le terrorisme. “Nous avons trois cas d’usages : analyse du comportement des cyberattaques lors d’un événement en cours, analyse rapide au lendemain d’un attentat terroriste et enfin les menaces hybrides, résultat de la convergence du cyberterrorisme et du terrorisme”, précise Domitile Lourdeaux.
Projet dans lequel Heudiasyc est leader d’un outil de monitoring sur les préconisations destinées à garantir le bien-être des policiers utilisant la RV, une technologie qui provoque, en effet, des effets secondaires dus aux casques (cybersickness ou mal du simulateur, fatigue visuelle) et peut également générer une surcharge cognitive et du stress liés aux tâches à accomplir en RV. “Dans ce projet, on se concentre sur les effets secondaires. On essaie de les mesurer en temps réel pendant que les utilisateurs ont le casque sur la tête afin de poser un diagnostic sur leur état. Nous nous intéressons à “trois états” en particulier : le cybersickness commun à tout utilisateur de casque RV, la charge mentale liée à la complexité de la tâche et le stress et ses multiples causes. Pour détecter ces effets secondaires, nous utilisons des senseurs physiologiques (électrocardiogramme, activité électrodermale, oculométrie et pupillométrie), les données comportementales (efficacité à la tâche) et des questionnaires”, souligne Alexis Souchet postdoc au sein d’Heudiasyc.
La réalité virtuelle pose cependant des problèmes juridiques et éthiques. “Les industriels vont mettre à disposition des gens des outils de RV sans prendre en compte les impacts néfastes pour leur santé. Un vrai problème lorsque l’on connaît l’explosion de la vente de casques, passée de 5 millions d’unités en 2014 à 68 millions en 2020”, conclut Domitile Lourdeaux.
