Dossier

55 : L’interaction entre le monde réel et le monde virtuel

Longtemps associée aux jeux vidéo, la technologie de réalité virtuelle a connu depuis un essor important, particulièrement dans le domaine de la formation. La « démocratisation » des casques de réalité virtuelle n’y est pas étrangère. Le nombre de casques vendus a explosé passant de 5 millions d’unités en 2014 à 68 millions en 2020, leur coût a chuté et la technologie elle-même a évolué. On parle aujourd’hui de technologies immersives incluant réalité virtuelle, réalité augmentée et réalité mixte. L’UTC a été relativement pionnière puisqu’elle a introduit, dès 2001, un enseignement en réalité virtuelle et lancé, au sein du laboratoire Heudiasyc, des recherches tant sur le plan fondamental qu’applicatif. L’interaction entre le monde réel et le monde virtuel ouvre en effet des champs d’applications immenses notamment en lien avec la robotique. On peut par exemple interagir avec un drone qui cartographie les dégâts causés lors d’une catastrophe naturelle dans des endroits devenus inaccessibles. Évidemment ces nouvelles possibilités peuvent être utilisées à des fins de malveillance, ce qui pose des problèmes éthiques. Les enseignants-chercheurs de l’UTC en sont conscients.

55 : L’interaction entre le monde réel et le monde virtuel

Kiva ou la formation au geste expert

Chercheur CNRS, Sébastien Destercke est responsable de l’équipe Connaissances, incertitudes, données (CID) au sein d’Heudiasyc. Son domaine de recherches concerne la modélisation et le raisonnement dans l’incertain, en particulier en présence d’incertitudes fortes ou sévères.

Concrètement ? " On parle d'incertitudes fortes lorsque l'on est en présence de données manquantes ou imprécises, d'informations pauvres ou qualitatives.

L'idée ?Il s'agit de modéliser ce type d'informations dans un langage mathématique afin de réaliser des tâches de raisonnement. Cela peut être de l'apprentissage automatique, c'est-à-dire apprendre à partir d'exemples, ou prendre des décisions dans l'incertain ", explique Sébastien Destercke.

Le passage vers la réalité virtuelle ? "Au sein d'Heudiasyc, nous avons une forte expertise dans les théories généralisant les probabilités comme les théories de l'évidence ou celles des probabilités imprécises. Il s'agit de langages mathématiques riches qui vont permettre de modéliser l'incertitude et l'incomplétude de l'information de manière très fine. Une telle expressivité est particulièrement utile dans certaines applications de la réalité virtuelle, et notamment dans l'aide à la formation. Parmi les incertitudes nécessitant une modélisation fine, on peut citer celles concernant le profil de compétence de l'apprenant, voire son état émotionnel. La prise en compte de l'incertitude dans le raisonnement permettra notamment une meilleure adaptation des scénarios de formation, qui pourront être mieux personnalisés pour chaque profil", ajoute-t-il.

Ces travaux sur l'incertain ont, entre autres, mené au projet Kiva construit autour d'un "environnement virtuel informé pour la formation au geste technique dans le domaine de la fabrication de culasses en aluminium" ; projet primé dans la catégorie "Training and Education" au salon Laval Virtual. L'objectif de Kiva ? " Nous nous sommes concentrés sur un geste de formation : comment souffler les impuretés à la surface des culasses sorties du moulage ? Le but ? Faire en sorte que l'apprenant reproduise le geste "expert". Or, dans cette situation, nous avons au moins deux sources d'incertitudes : d'une part, le geste "expert" peut changer d'un expert à un autre et, d'autre part, la reconnaissance du geste qui ne peut pas se faire parfaitement. La personne en formation est bardée de capteurs ; elle va faire des mouvements qui ne sont pas nécessairement réguliers ni récoltés d'une manière continue. Cela nous donne une information partielle à partir de laquelle on doit définir la reconnaissance de geste de la personne en formation et essayer de mesurer en quoi ce geste est en adéquation avec le geste "expert". Or, dans le système qui guidera l'apprenant, il est nécessaire d'inclure ces sources d'incertitudes", décrit Sébastien Destercke.

Un geste "expert" que l'apprenant est amené à reproduire dans un Cave. "L'utilisation de la réalité virtuelle en entreprise pour des objectifs de formation est récente. Elle était jusqu'ici souvent limitée à l'amélioration de l'ergonomie des postes de travail, où les thématiques liées à l'interaction homme-machine sont moins critiques. Avec les objectifs de formation, elles deviennent fondamentales", conclut-il.