Les technologies immersives représentent un changement fondamental dans la présentation de l’information. Ce sont des médias expérientiels par opposition aux médias représentatifs. Les technologies immersives permettent de faire l’expérience des médias en plaçant l’utilisateur dans un environnement numérique avec lequel il est capable d’interagir. Les interactions utilisent les capacités sensorielles et motrices de l’utilisateur.
L’immersion ou état immersif est un terme très utilisé en informatique et dans le domaine des jeux vidéos.
La personne en état immersif cesse de se rendre compte de son état physique. Staffan Björk & all. dans Patterns In Game Design divisent l’immersion en 6 catégories : sensori-motrice ou immersion tactique, le joueur est amené à prendre des décisions rapides. Absorbé par la résolution en chaîne de problèmes courts, il n’a pas le temps d’élaborer une stratégie ou de s’interroger sur la trame narrative ; cognitive ou immersion stratégique, le joueur doit observer, calculer, planifier, choisir une solution correcte parmi une large palette de possibilités, le jeu d’échec par exemple ; émotionnelle ou immersion narrative, est similaire à ce qui est expérimenté quand on lit un livre ou qu’on regarde un film ; spatiale, le joueur a l’impression que le monde virtuel est convaincant du point de vue de ses perceptions. Le joueur a l’impression qu’il est véritablement « là-bas» et que le monde virtuel semble « réel » ; psychologique, quand le joueur ne fait plus la différence avec la vie réelle ; sensorielle, l’entrée dans un environnement en trois dimensions est stimulé physiquement par celui-ci.
Ces technologies englobent entre autres la réalité virtuelle, la réalité augmentée et la réalité mixte. La réalité virtuelle transporte l’utilisateur dans un monde simulé, tandis que la réalité augmentée crée une information numérique sur le monde physique. Malgré cette différence, ces deux technologies permettent de faire l’expérience des médias à travers plusieurs sens. De vastes réseaux de capteurs et technologies connectées permettront d’expérimenter l’information transmise avec tous les sens. Certains prévoient un mélange des mondes physiques et virtuels.
La réalité augmentée
La vie sans la réalité augmentée ne sera prochainement plus possible, selon Tim Cook, PDG d’Apple.
La réalité augmentée consiste à superposer des informations virtuelles (texte, image, vidéo, son, etc) au monde réel. Le jeu Pokémon Go qui a été extrêmement populaire à l’été 2016 est un jeu vidéo mobile en réalité augmentée. La réalité augmentée est très utilisée dans plusieurs domaines, dont le tourisme. Les visiteurs peuvent capter à partir de leur téléphone ou leur tablette des informations virtuelles sur un objet ou un lieu qu’ils visitent dans la réalité.
HP Reveal
L’application HP Reveal, autrefois Aurasma, permet de créer sa propre réalité augmentée et de lire celles créées par cette application. L’élément déclencheur ou Trigger Image c’est l’image du monde réel qui sera reconnue par Aurasma. Cet élément déclencheur permet d’avoir accès à l’incrustation virtuelle, un texte ou une vidéo par exemple. On peut facilement avec un smartphone ou une tablette accéder à des informations virtuelles à partir d’un élément du réel.
Écrivains reporter en herbe
J’ai écrit un article sur Ludomag en 2016 https://archives.ludomag.com/archives/18589. Au sujet du projet Écrivains reporter en herbe . Il s’agit d’un projet où des élèves de CE2, CM1, et CM2 ont réalisé des reportages photos accompagnés de textes documentaires et littéraires. Les productions finales des écoliers, des photos avec réalité augmentée et la démarche pédagogique qui a mené à tout cela avaient été présentées à la 13e université d’été Ludovia par Pierre Clot, conseiller pédagogique départemental, concepteur et coordonnateur du projet, Élise Negre et Grégory Staffoni, professeurs des écoles qui ont participé au projet, et Romain Tessier, maître animateur informatique.
ARKit et ARCore
Apple et Google ont développé ARKit et ARCore. Ces nouveaux systèmes embarqués directement dans les OS permettent de scanner l’espace afin de pouvoir y placer n’importe quels modèles en 3D sans élément déclencheur. Le ARKIT2 de Apple, propose des évolutions majeures comme le partage d’expériences en réalité augmentée ou l’amélioration de la détection d’objets en 3D, un nouveau format a été créé permettant de partager les modèles 3D au sein de l’écosystème d’Apple (mail, SMS, explorateur de fichier). L’aspect collaboratif y est largement mis en avant.
Les marques s’emparent de ce mode de visualisation afin de créer de nouvelles expériences clients. LEGO en plus de créer des applications en réalité augmentée pour les enfants, vient de monter un magasin virtuel en réalité augmentée accessible uniquement sur Snapchat.
La réalité augmentée sera peut-être le prochain Graal en éducation. L’élève aura accès à l’incrustation virtuelle par son téléphone ou sa tablette. On peut facilement imaginer une multitude d’applications de cette technologie dans les écoles. J’en ai mille en tête !
La réalité virtuelle
Contrairement à la réalité augmentée, la réalité virtuelle mène l’usager hors du réel. Il s’agit d’un multimédia immersif où le réel est reproduit artificiellement. C’est une réalité simulée par ordinateur. C’est à l’aide d’un casque qu’on accède à un système d’affichage 3D stéréoscopique. On peut visiter des projections du monde réel ou de mondes imaginaires.
Le plus simple c’est la réalité virtuelle passive à petit budget, avec les lunettes de type Google Carboard . Google a produit le premier des lunettes de carton, les Google Carboard qui permettent d’expérimenter la réalité virtuelle sans dépenser une fortune. Ce sont des supports pour un téléphone intelligent ou un iPod par lesquels on peut visionner les vidéos de YouTube360. Il y a de plus en plus de documents disponibles. .
Élèves et professeurs peuvent aussi créer du contenu qui sera visible par les lunettes de réalité virtuelles grâce à des caméras sphériques que l’on peut attacher à un casque de vélo par exemple pour en assurer la stabilité.
De plus en plus complexes et avec des budgets de plus en plus gros, il y a les visiocasques aussi nommés casque de réalité virtuelle et des gants de données qui permettent une toute autre expérience. Ces appareils sont équipés de capteurs qui détectent les mouvements de la tête et du corps et augmentent l’effet immersif. Les documents accessibles par ces appareils coûtent très cher à produire. Les producteurs visent alors de permettre l’accès à des milieux qu’il est difficile de visiter dans la réalité tels les voyages au fond des mers.
Nos yeux ne ressemblent pas aux caméras et nos oreilles ne ressemblent pas aux microphones. Nous ne percevons pas le monde de manière immuable comme le présente les casques de réalité virtuelle. Notre histoire personnelle, notre philosophie, notre culture et nos habitudes cognitives se mêlent au monde extérieur qui existe au-delà de notre tête. L’expérience de réalité virtuelle, aussi réaliste soit-elle ne nous prive-t-elle d’un véritable contact avec la réalité. Ce monde artificiel limité par le casque ne limite-t-il pas à son tour notre expérience de la réalité ?
Laurent Di Pasquale écrit dans EdTech (2018) La réalité virtuelle : au-delà du simple gadget pédagogique. Il rappelle les conseils suivants. La logistique dont on doit tenir compte : le coût du matériel et l’espace disponible dans le local. Les objectifs : pourquoi utiliser la réalité virtuelle si le résultat obtenu pourrait être le même avec une simple vidéo 2D ? La réalité virtuelle, doit donner accès à des zones impossibles à explorer par les élèves et doit permettre de vivre des expériences immersives qui lui fera ressentir des sensations et émotions, auxquelles il pourra lier son apprentissage.
Voici comment un auteur peut exploiter la réalité virtuelle pour rendre son histoire vivante. Stéphanie De Champlain et Jennifer Poirier (2019) en donnent toutes les étapes dans : La réalité virtuelle au service de l’expérience littéraire.
La Réalité Mixte
La réalité mixte consiste en une hybridation entre le réel et le virtuel. Elle passe par l’intégration dans le monde réel d’objets virtuels interactifs avec l’utilisateur et l’environnement réel.
Les holoLens
La réalité mixte sur HoloLens 2 combine un appareil autonome avec des applications et des solutions qui permettent d’apprendre, de communiquer et de collaborer plus efficacement. Il s’agit de l’aboutissement de percées dans la conception matérielle, l’intelligence artificielle et le développement de la réalité mixte de Microsoft.
Réalité augmentée et réalité virtuelle en éducation
Auparavant, les applications éducative en réalité virtuelle cherchaient à faire participer activement les élèves à la classe, mais les nouvelles plates-formes de réalité augmentée mettent directement le pouvoir du développeur entre les mains des élèves.
Michael Drezek, intégrateur de technologie au Lake Shore Central School District à New York a créé CoSpaces Edu, une plate-forme de réalité virtuelle et augmentée qui permet aux étudiants de créer leurs propres projets en utilisant des langages tels que JavaScript. CoSpaces Edu fournit un bac à sable pour répondre à tous les besoins « Cela conduit à une grande créativité» écrit Drezek.
Le langage de programmation Tynker, une plate-forme de réalité augmentée permet aux étudiants de créer des projets de réalités augmentées en classe et aux enseignants d’organiser des cours de programmation. Avec Microsoft Minecraft for Education, par exemple, Tynker permet aux étudiants de programmer des modifications au sein du jeu, des modifications superficielles telles que le changement des couleurs de blocs, aux plus complexes telles que la création de leurs propres règles dans le monde numérique.
Les entreprises voient les avantages de combiner des applications éducatives immersives en réalité virtuelle avec des cours d’informatique, créant ainsi un parcours amusant et stimulant qui permet aux étudiants d’acquérir les compétences dont ils auront besoin lorsqu’ils rejoindront le marché du travail. Nous espérons pouvoir exposer les étudiants à de nouvelles façons de penser grâce à une technologie puissante déclare Raysana Hurtado, responsable de l’éducation chez Intel.
Toutes ces technologies immersives s’appuient sur des technologies complémentaires notamment pour la captation de données (localisation, captation de mouvements et de données physiologiques, etc.), leur analyse et leur traitement (vision par ordinateur, intelligence artificielle, etc.). Les outils de création sont de plus en plus simplifiés, ce qui facilite la création de contenu par le néophyte. Combinés à de vastes réseaux de capteurs ces technologies offrent un indéniable potentiel d’usages créatifs des technologies de l’information.
Plus d’infos :
Artéfacto, ARKIT 2 : QUAND APPLE DÉMOCRATISE LA RÉALITÉ AUGMENTÉE
L’APPLE ARKIT : À QUOI SERT-IL ? (2018) . Conseil 3D
Björk, Staffan, Sus Lundgren, Jussi Holopainen (2003) Game Design Patterns, Conference: Digital Games Research Conference 2003, 4-6 November 2003, University of Utrecht, The Netherlands,
GameOne, La réalité augmentée,(avec des hololens) qu’est-ce que c’est ?
Le NINTENDO LABO VR présenté par E.M.B NINTENDO LABO VR | JE TESTE LE CASQUE & LE FUSIL, MON AVIS
Wikipédia, Immersion (réalité_virtuelle)
Ce texte est un extrait du chapitre 12, de la Partie 3 de Voyage au pays informatique, un livre numérique disponible sur Amazon et en ePub sur KOBO
