Découvrez L'Art De L'Édition
Appareils Photo

Des chercheurs montrent un suivi VR complet du corps avec des caméras montées sur contrôleur

Des chercheurs montrent un suivi VR complet du corps avec des caméras montées sur contrôleur

Des chercheurs de l’Université Carnegie Mellon ont démontré un système pratique de suivi du corps entier en réalité virtuelle à l’aide de caméras montées sur les contrôleurs pour obtenir une meilleure vue du corps de l’utilisateur.

Bien qu’il soit possible d’obtenir un suivi complet du corps en réalité virtuelle aujourd’hui, cela nécessite l’utilisation de matériel supplémentaire qui doit être attaché à votre corps (par exemple, des trackers Vive ou des trackers IMU). Cela fait du suivi du corps entier un non-démarreur pour tous, sauf les passionnés de réalité virtuelle qui sont prêts à dépenser de l’argent et du temps pour attacher du matériel supplémentaire.

Trois trackers vives sont utilisés ici pour ajouter le suivi du torse et des pieds | Image courtoisie IKinema

Étant donné que les casques VR autonomes sont déjà équipés de caméras pour suivre leur position dans le monde et les contrôleurs de l’utilisateur, en théorie, il est également possible de regarder le corps de l’utilisateur et d’utiliser une approche de vision par ordinateur pour le suivre. Malheureusement, l’angle des caméras depuis le casque est trop extrême pour obtenir une vue fiable des jambes de l’utilisateur, ce qui a conduit Meta à conclure récemment que le suivi complet du corps n’est tout simplement pas viable sur un casque autonome (surtout qu’ils deviennent plus petits).

Mais des chercheurs de l’Université Carnegie Mellon remettent en question cette notion avec un prototype de système VR autonome qui ajoute des caméras aux contrôleurs pour obtenir une vue beaucoup plus claire du corps de l’utilisateur, permettant d’extraire des données de suivi fiables pour les jambes et le torse.

Ce qui est particulièrement intéressant dans cette approche, c’est qu’elle semble s’aligner sur la direction que prennent déjà les contrôleurs VR de nouvelle génération ; Project Cambria de Meta et Magic Leap 2 utilisent des contrôleurs qui abandonnez un système de suivi dépendant du casque en faveur du calcul de leur position avec leur propre système de suivi à l’envers.

Image reproduite avec l’aimable autorisation de l’Université Carnegie Mellon

En utilisant un casque Quest 2 standard comme base pour leur système prototype, les chercheurs ont ajouté deux caméras au contrôleur qui font face à l’utilisateur. Avec les mains de l’utilisateur devant elles, les caméras peuvent obtenir une vue beaucoup plus claire du haut et du bas du corps. Cette vue est corrigée afin qu’un système de vision par ordinateur puisse extraire de manière optimale la pose de l’utilisateur, puis combiner ces données avec la position connue de la tête et des mains pour créer un modèle de suivi du corps entier.

Image reproduite avec l’aimable autorisation de l’Université Carnegie Mellon

Bien sûr, les mains de l’utilisateur ne seront pas toujours été devant eux. Les chercheurs affirment que certains tests limités ont montré que les utilisateurs de réalité virtuelle ont les mains tendues devant eux environ 68 % du temps. Lorsque les mains ne sont pas dans une bonne position pour capturer le corps, le système doit revenir à une estimation CI de la position du corps. Et bien que leur prototype ne soit pas allé aussi loin, les chercheurs disent qu’ils pensent qu’avec un angle de caméra supplémentaire sur le contrôleur, il devrait être possible de capturer la position des jambes même lorsque les bras et les contrôleurs de l’utilisateur reposent à leurs côtés.

Quant à la précision, les chercheurs, Karan Ahuja, Vivian Shen, Cathy Mengying Fang, Nathan Riopelle, Andy Kong et Chris Harrison, disent que la précision de suivi millimétrique est probablement hors de question pour ce type de système, mais la précision de suivi centimétrique est probable sur la table, ce qui peut être suffisant pour de nombreux cas d’utilisation VR. Pour leur prototype en particulier, le système avait une « erreur de jointure 3D moyenne de 6,98 cm », bien que les chercheurs disent que cela devrait être « considéré comme le plancher de performance, pas le plafond », étant donné le temps limité qu’ils ont passé à optimiser le système.

Avec le suivi complet du corps, les jambes sont enfin une partie viable de l’expérience. C’est souhaitable non seulement pour rendre votre avatar plus réaliste pour les autres, mais aussi pour incorporer le bas de votre corps dans l’expérience, ajouter à l’immersion et fournir une autre entrée que les joueurs peuvent utiliser dans le jeu.

Image reproduite avec l’aimable autorisation de l’Université Carnegie Mellon

Les chercheurs ont non seulement créé un modèle de suivi complet pour le système, mais ils ont également réalisé des expériences prototypes pour montrer comment les jambes suivies peuvent ajouter au gameplay. Ils ont montré une expérience de gardien de but de hockey, où les joueurs peuvent bloquer la rondelle avec n’importe quelle partie de leur corps; une expérience de « correspondance de la forme du corps », où les joueurs correspondent à la forme d’un mur entrant pour le traverser ; et même un jeu « Feet Saber », où les joueurs coupent des blocs avec leurs mains et pieds.

– – – – –

Alors, pourrions-nous voir un suivi complet du corps à partir de casques comme Magic Leap 2 et Project Cambria ? C’est difficile à dire à ce stade; bien que les contrôleurs semblent effectuer leur propre suivi à l’envers, les caméras des contrôleurs semblent pointer principalement loin de l’utilisateur.

Mais peut-être qu’un futur casque – ou simplement un contrôleur amélioré – pourrait y arriver.

Quel que soit l’endroit où ces casques atterrissent, cette recherche montre que le suivi pratique et à faible frottement du corps entier sur des casques VR autonomes n’est peut-être pas si éloigné. Combiné avec le capacité à exécuter un suivi de visage très réalisteles casques autonomes du futur augmenteront radicalement l’incarnation ressentie en VR.