Ces derniers mois ont été riches en émotions dans le “petit” monde de la réalité augmentée. Entre les dépôts de brevets de Facebook et Magic Leap pour des lunettes AR, l’annonce d’Apple sur la sortie d’ARKit en Juin, et l’annonce d’ARCore il y a quelques jours par Google, on peut se sentir facilement perdu.

En effet, si les vidéos utilisant les tout derniers SDK (software development kit) d’Apple et Google sont absolument bluffantes, les technologies qui sont derrière sont finalement utilisées depuis un bon moment dans le milieu de l’AR.

Alors pourquoi les dernières annonces des deux géants américains impressionnent autant ? Petit tour à l’intérieur des coulisses de l’AR.

couvarkitcoulisse.png

Se situer dans l’espace

A la base de bien des applications AR se trouve une problématique de vision par ordinateur appelée SLAM (Simultaneous Localisation And Mapping). Lorsqu’un système est dit “SLAM”, il est capable d’évoluer à l’intérieur d’un environnement inconnu tout en sachant se positionner au sein de celui-ci. Grâce à des images de son entourage proche traitées comme des nuages de points, le système peut analyser son environnement sous forme de différents plans plus ou moins proches ou inclinés. C’est, entre autre, cette « compréhension » de la configuration des scènes visualisées qui permet de déterminer quels sont les espaces « libres » pour l’intégration d’éléments animés ou non dans le réel via des appareils comme votre smartphone ou votre tablette.

Extrait de la présentation d'ARKit par Apple.

Extrait de la présentation d'ARKit par Apple.

Retranscrire la 3D

Pour arriver à donner la notion de 3D à un élément en AR, deux possibilités majeures s’offrent à vous : le VIO ou l’utilisation de l’IMU de votre téléphone.

Le VIO (Visual Inertial Odometry) permet d’estimer à la fois la position et l’orientation d’un système dans un repère en 3 dimensions en se basant sur des informations visuelles en temps réel.

Les instruments de mesure de votre téléphone lui permettent de vous positionner dans l'espace (Photo : Robert Penaloza)

Les instruments de mesure de votre téléphone lui permettent de vous positionner dans l'espace (Photo : Robert Penaloza)

Les mesures effectuées par le système inertiel de votre téléphone (le gyroscope,  l’accéléromètre, et la boussole), ou Inertial Measurement Unit, permettent également d’obtenir des indications sur la position de celui-ci dans l’espace.

Ainsi, un téléphone, même sans être muni de caméra spéciale comme la caméra infrarouge intégrée au téléphone Tango, est capable de déterminer la position de l’appareil dans son environnement réel et virtuel et de retransmettre en conséquence l’orientation correcte de l’image projetée en AR.

L’illusion du réel

Rien de bien nouveau sous le soleil donc. Là où nos deux géants « révolutionnent » le monde de l’AR avec leurs SDK, c’est dans le calcul des erreurs liées à ces technologies et la gestion des textures et des lumières, et ce sur des supports n’étant pas initialement pensés pour de l’AR.

En effet, les techniques présentées précédemment sont très sensibles aux erreurs. Les mesures visuelles et optiques sont effectuées à la même cadence que le rafraîchissement de la caméra, accumulant les erreurs avec la distance parcourue et la durée d’utilisation. Réussir à fournir des mesures dont le facteur d’erreur est suffisamment faible pour ne pas affecter la qualité de l’intégration d’éléments en AR est un réel progrès. Cette précision permet de mieux gérer l’incrustation d'éléments virtuels dans notre environnement, d’effectuer des mesures comme dans cette démonstration célèbre d’application faite avec ARKit. La gestion des jeux de lumières est également meilleure, ce qui donne une illusion de réel encore plus forte.

L'intégration d'éléments virtuels dans des environnements réels est de plus en plus réaliste. (Démonstration d'ARCore)

L'intégration d'éléments virtuels dans des environnements réels est de plus en plus réaliste. (Démonstration d'ARCore)

Une nouvelle ère pour l’AR

L’exploitation des précédents outils et techniques a récemment donné des résultats assez fous. Néanmoins, ces performances nécessitent des bases matérielles solides, et une puissance de calcul non négligeable. Jusqu’à présent, les outils de création et de visualisation de contenu AR étaient tributaires de matériel dédié, comme l’Hololens, ou encore le Tango. La problématique de la présence de traqueur ou soumis à des contraintes techniques comme l’installation de marqueur visuel dans l’environnement, comme c’est le cas avec le SDK de Qualcomm Vuforia, qui nécessite le réglage de traqueur sur une scène pour pouvoir intégrer des objets virtuels dans le réel.
Hormis Snapchat, qui a réussi à rendre l’AR accessible à tous via des appareils déjà bien répandus auprès du grand public, l’AR restait cantonnée à une utilisation très restreinte.

Ces derniers mois, le calendrier des annonces de SDK démocratisant le développement d’applications AR s’est accéléré. Facebook a discrètement lancé la tendance en Avril 2017 durant la F8, avec son annonce d’AR Studio, une plateforme (pas encore ouverte aux développeurs à ce jour) similaire à l’ARCore et l’ARKit. Mais c’est finalement la sortie d’ARKit en Juin 2017 qui a fait le plus de bruit, suite au rachat en 2015 de Metaio par Apple, startup allemande leader de l’AR et concurrent direct de Vuforia.
Toutes ces nouveautés, remarquées ou non, permettent d’inaugurer une nouvelle ère pour l’AR. De plus en plus de téléphones non-spécialisés vont pouvoir supporter des applications en AR, qui vont ensuite être utilisées un peu partout sans avoir à définir de marqueurs spécifiques en amont.

Si le parc des téléphones compatibles avec ces technologies reste encore assez élitiste, tout cela augure tout de même un beau futur pour le monde de l’AR.