Dossier

55 : L’interaction entre le monde réel et le monde virtuel

Longtemps associée aux jeux vidéo, la technologie de réalité virtuelle a connu depuis un essor important, particulièrement dans le domaine de la formation. La « démocratisation » des casques de réalité virtuelle n’y est pas étrangère. Le nombre de casques vendus a explosé passant de 5 millions d’unités en 2014 à 68 millions en 2020, leur coût a chuté et la technologie elle-même a évolué. On parle aujourd’hui de technologies immersives incluant réalité virtuelle, réalité augmentée et réalité mixte. L’UTC a été relativement pionnière puisqu’elle a introduit, dès 2001, un enseignement en réalité virtuelle et lancé, au sein du laboratoire Heudiasyc, des recherches tant sur le plan fondamental qu’applicatif. L’interaction entre le monde réel et le monde virtuel ouvre en effet des champs d’applications immenses notamment en lien avec la robotique. On peut par exemple interagir avec un drone qui cartographie les dégâts causés lors d’une catastrophe naturelle dans des endroits devenus inaccessibles. Évidemment ces nouvelles possibilités peuvent être utilisées à des fins de malveillance, ce qui pose des problèmes éthiques. Les enseignants-chercheurs de l’UTC en sont conscients.

55 : L’interaction entre le monde réel et le monde virtuel

L’adaptation scénaristique en réalité virtuelle

Maîtresse de conférences, Domitile Lourdeaux est membre de l’équipe Connaissances, incertitudes, données (CID) au sein d’Heudiasyc. Ses recherches portent sur les systèmes adaptatifs personnalisésen réalité virtuelle.

Un champ de recherches qu'elle ne cesse d'explorer depuis sa thèse. "Je m'intéresse à l'adaptation de contenus scénaristiques en fonction d'un profil dynamique de l'utilisateur et, plus particulièrement, aux environnements virtuels dédiés à la formation. Comme il s'agit d'apprenants, je travaille notamment sur l'adaptation des contenus pédagogiques et de la narration. En un mot : comment va-t-on mettre en scène des situations d'apprentissage en réalité virtuelle (RV)", explique Domitile Lourdeaux.

Les domaines d'application sont divers et les projets passés ou en cours l'attestent. Il y a eu Victeams sur la formation de "leaders médicaux", projet financé par l'ANR et la Direction générale des armées (DGA) et en cours Orchestra a ainsi qu'Infinity¹, un projet européen impliquant onze pays et vingt partenaires dont Manzalab, coordonnés par Airbus Defense and Space. Le premier a été lancé en novembre 2019 grâce à un financement de la DGA et a pour partenaires Réviatech, Thalès ainsi que CASPOA, un centre d'excellence de l'OTAN, le second en juin 2020 ; les deux pour une durée de trois ans.

"Orchestraa vise à former des leaders en commandement aérien dans des centres d'opérations aériennes militaires. Il y a environ quarante personnes dans la salle qui coordonnent des opérations militaires. L'apprenant est doté d'un casque de RV et interagit avec son équipe constituée de personnages virtuels autonomes ; ces derniers étant en lien avec des pilotes de chasse, d'hélicoptères, des drones, etc. Ils vont donc jouer un scénario prévu plusieurs jours à l'avance mais le jour J, il peut y avoir des aléas perturbant le scénario d'origine et qu'ils doivent pouvoir gérer. Il peut s'agir de demandes d'appui aérien imprévues initialement ou d'un avion qui se crashe, auquel cas il faut aller sauver les pilotes au sol. Ces aléas vont nécessiter une réallocation des moyens créant, in fine, une réaction en chaîne impactant toute l'opération. Dans ce cas de figure, l'adaptation concerne la difficulté du scénario qui va croissant en fonction de ce que l'apprenant est capable de gérer. Ce qui lui demandera de faire preuve de compétences progressives", détaille-t-elle.

Infinity pour sa part concerne un tout autre domaine. Ce projet européen d'envergure vise à fournir des outils - intelligence artificielle, RV pour la visualisation et l'analyse des données - afin d'améliorer la collaboration des polices européennes dans les enquêtes menées contre la cybercriminalité et le terrorisme. "Nous avons trois cas d'usages : analyse du comportement des cyberattaques lors d'un événement en cours, analyse rapide au lendemain d'un attentat terroriste et enfin les menaces hybrides, résultat de la convergence du cyberterrorisme et du terrorisme", précise Domitile Lourdeaux.

Projet dans lequel Heudiasyc est leader d'un outil de monitoring sur les préconisations destinées à garantir le bien-être des policiers utilisant la RV, une technologie qui provoque, en effet, des effets secondaires dus aux casques (cybersickness ou mal du simulateur, fatigue visuelle) et peut également générer une surcharge cognitive et du stress liés aux tâches à accomplir en RV. "Dans ce projet, on se concentre sur les effets secondaires. On essaie de les mesurer en temps réel pendant que les utilisateurs ont le casque sur la tête afin de poser un diagnostic sur leur état. Nous nous intéressons à "trois états" en particulier : le cybersickness commun à tout utilisateur de casque RV, la charge mentale liée à la complexité de la tâche et le stress et ses multiples causes. Pour détecter ces effets secondaires, nous utilisons des senseurs physiologiques (électrocardiogramme, activité électrodermale, oculométrie et pupillométrie), les données comportementales (efficacité à la tâche) et des questionnaires", souligne Alexis Souchet postdoc au sein d'Heudiasyc.

La réalité virtuelle pose cependant des problèmes juridiques et éthiques. "Les industriels vont mettre à disposition des gens des outils de RV sans prendre en compte les impacts néfastes pour leur santé. Un vrai problème lorsque l'on connaît l'explosion de la vente de casques, passée de 5 millions d'unités en 2014 à 68 millions en 2020", conclut Domitile Lourdeaux. 

¹https://cordis.europa.eu/project/id/883293