JENII, la formation à distance pour l'industrie du futur
Le projet JENII, pour Jumeaux d’Enseignement Numériques Immersifs et Interactifs, Lauréat de l’Appel à Manifestation d’intérêt DemoES (Démonstrateurs Numériques dans l’Enseignement Supérieur) dans le cadre du PIA4, réunit des équipes des Carnot CEA LIST & ARTS, du CESI et du CNAM.
L’industrie s’approprie de façon croissante les technologies numériques, pour répondre à ses besoins d’agilité et de compétitivité. Conception, production, formation bénéficient de ces nouvelles solutions intégrant intelligence, interactivité et connectivité. Les « jumeaux numériques », clones virtuels d’installations réelles, en sont un exemple avancé, notamment dans le domaine de la formation.
Ce projet vise à développer de nouvelles modalités de formation à distance, fondées sur des environnements immersifs et collaboratifs, autour de jumeaux numériques de systèmes industriels réels. Initié fin 2021, il a déjà donné naissance à de nombreuses avancées : retour sur 18 mois de recherches.
Des jumeaux numériques métiers
Différents jumeaux numériques métier ont déjà été développés (usinage, forgeage, par ex.) à partir des équipements réels existants en s’appuyant sur quatre piliers :
- la représentation 3D des environnements et des équipements,
- la simulation interactive des phénomènes physiques mis en jeu selon les apprentissages,
- les interactions entre les intervenants,
- et les échanges, en temps réel, entre l’équipement physique étudié et le monde du jumeau numérique.
La réalité virtuelle accessible avec une caméra 360°
La représentation en réalité virtuelle d’une salle de classe compte trois familles d’éléments : l’environnement (le fond, servant de contexte), l’objet d’intérêt (la machine sur laquelle l’étudiant se forme) et les personnes (professeur, étudiants).
L’une des innovations récentes permet aux enseignants de diffuser des cours et des TP à des étudiants à distance en réalité virtuelle grâce à une simple caméra 360°. La vidéo 360° seule ne permettant qu’une interaction limitée avec les équipements, Clément Dluzniewski a développé une technologie innovante pour reconstruire à partir de l’information vidéo 360° les trois éléments de la scène, afin d’améliorer le réalisme, donc la qualité d’apprentissage.
- L’environnement – statique – est reconstruit grâce à un algorithme d’estimation de profondeur mono-caméra, ce qui ajoute du relief à l’image 360° sur les éléments du fond.
- La représentation de l’objet d’intérêt – l’équipement – est obtenue grâce à un jumeau numérique connu a priori. Son modèle 3D est aligné sur la vidéo 360° grâce à un algorithme qui va le détecter une fois dans la vidéo, à l’initialisation, et le recaler. La partie correspondante de la vidéo 360° est alors projetée sur le modèle 3D dans le jumeau, offrant un rendu encore plus réaliste que des textures numériques
- Enfin, les personnes sont représentées grâce à des ’billboards’ c’est à dire des plans correctement positionnés dans l’espace 3D sur lesquels la vidéo est projetée. Avec l’avantage d’être créées facilement en temps réel (contrairement à un avatar 3D) uniquement à partir d’une segmentation des personnes sur la vidéo 360° pour un rendu visuel de bonne qualité.
