PREDIT4FACE, un jumeau numérique prédictif de la mimique faciale

Professeure des universités et ancienne directrice à la recherche (2017–2023), Marie-Christine Ho Ba Tho est spécialisée dans le développement de modèles personnalisés du système musculo-squelettique au sein du BMBI. Elle pilote le projet PREDIT4FACE, l’un des seize lauréats de l’appel à projets du PEPR Santé Numérique de France 2030 doté de 24,5 millions d’euros.
Prévu pour une durée de 4 ans, PREDIT4FACE est doté d’une enveloppe de 1,59 million d’euros et vise à développer un jumeau numérique prédictif multi-échelle du visage. Un projet ambitieux réunissant, au sein d’un consortium, cinq partenaires dont quatre sont situés dans les Hauts-de-France : la professeure Stéphanie Dakpe, chirurgienne maxillo-faciale rattachée à CHIMERE (UPJV-CHU Amiens, Inserm), le professeur Tien Tuan Dao, un ancien de l’UTC (BMBI), ayant rejoint l’UMR LaMcube (Centrale Lille Institut, CNRS), la professeure Valérie Burdin du Latim (IMT Atlantique, Inserm), Roberval (UTC) avec le professeur Alain Rassineux, spécialiste des techniques de maillage complexe, et Mohamed Rachik, maître de conférences spécialiste des modélisations de comportements non linéaires et enfin le BMBI qui implique, outre Marie-Christine Ho Ba Tho, Olfa Trabelsi, maîtresse de conférences spécialiste de la caractérisation et de la modélisation multi-échelle des tissus mous du vivant. Un consortium qui réunit diverses expertises complémentaires.
Pour développer un jumeau numérique du visage, il faut des modèles qui soient personnalisés tant d’un point de vue géométrique que des propriétés mécaniques. Différents outils de modélisation, de maillage, d’imagerie médicale, d’intelligence artificielle ainsi que l’expertise clinique sont requis. « Ainsi, à partir d’images médicales, on développe un modèle virtuel 3D où on reconstruit la géométrie du visage par la segmentation. Ensuite on va “mailler” le visage en éléments finis en vue de lancer des simulations. Pour ce travail, on s’appuie notamment sur les compétences de Roberval, une collaboration de longue date », indique Marie-Christine Ho Ba Tho.
Pionniers des modèles patient-spécifique, la chercheuse et son équipe ambitionnent, avec PREDIT4FACE, de mieux comprendre, modéliser et réhabiliter l’expression faciale. « Jusqu’ici, nous avons essayé de comprendre le rôle de la vingtaine de muscles impliqués dans la mimique faciale. On a ainsi simulé les muscles sollicités pour un sourire, ou ceux actionnés lors de certaines prononciations tels le “O” ou le “Pou”. Nous avons aussi proposé un outil pour superviser les gestes de rééducation fonctionnelle.
Avec le projet PREDIT4FACE, nous souhaitons aller plus loin. Notre objectif principal est de développer des jumeaux numériques multi-échelles prédictifs permettant de modéliser, de simuler et de prédire la mimique faciale. Ces modèles vont intégrer les propriétés morphologiques et mécaniques des muscles, et des tissus mous du visage à différentes échelles de chaque patient. Pour chaque patient, il s’agira d’extraire ses données d’imagerie et de les coupler avec les connaissances que nous avons en biomécanique afin de modéliser le comportement du visage de chaque patient spécifiquement », explique-t-elle.
Ce projet comprend un autre enjeu de taille. « La reconstruction rapide du modèle constitue un immense challenge. Pour y parvenir, une partie de l’équipe travaille actuellement sur l’automatisation de la segmentation, une autre sur le maillage automatique. De plus, l’interaction entre le patient et son jumeau numérique doit se faire en temps réel. Précisément, il s’agira de récupérer les données, de faire de la reconstruction rapide afin que, lorsque le patient fait une mimique faciale, le jumeau numérique interagisse avec le mouvement réalisé et simule ce que le patient fait. Ce jumeau numérique prédictif va également nous aider à planifier d’une manière optimale la rééducation fonctionnelle. Il nous permettra d’élaborer des scénarios différenciés et, pour chaque patient, de définir les mouvements optimaux pour la mimique faciale », souligne-t-elle.
Ce qui exige un grand nombre de développements méthodologiques innovants sur les modèles, sur le couplage des éléments finis et sur les modèles d’apprentissage par renforcement ou encore sur la réduction de modèles. Aujourd’hui, la preuve de concept est faite. « Dans le cadre de PREDIT4FACE toujours, DeepFaceX, une start-up en cours de création par le professeur Tien Tuan Dao, a développé un logiciel, iTwin4Face, dédié à la reconstruction rapide et analyse de modèles du visage en temps réel », ajoute-t-elle. Marie-Christine Ho Ba Tho porte également, en collaboration avec le professeur Tien Tuan Dao, le projet SCAR_FACE (Simulation et CARactérisation mécanique personnalisée de la FACE), un projet retenu à la suite de l’appel à projets de prématuration du pôle universitaire d’innovation) de l’Alliance Sorbonne Université. « L’objectif est de proposer un outil numérique permettant de visualiser les propriétés mécaniques personnalisées de la peau de la face in vivo et en temps réel. Cet outil s’appuiera sur les travaux de thèse réalisés au sein de BMBI sur les propriétés mécaniques de la peau (Tran Viet, 2005 ; Ang Xiao Fan, 2016) et sur le jumeau numérique du visage (T. N. Nguyen, 2021). Ce sont les travaux de cette dernière, par ailleurs lauréat du prix de thèse Guy-Dénielou en 2021, qui sont à la source de la création de DeepFaceX », conclut Marie-Christine Ho Ba Tho.
MSD




