Les claviers virtuels pour VR font de n'importe quelle surface un espace de travail

L'alternative ultralégère

Création de bateau en papier / Getty Images

Le meilleur clavier pour taper en réalité virtuelle (VR) pourrait s’avérer être celui qui n’existe pas vraiment.

Le PDG de Meta, Mark Zuckerberg, a récemment publié une vidéo de lui-même essayant un clavier virtuel dans un casque Quest 2. Les experts affirment que de tels claviers pourraient être l’avenir de la productivité en réalité virtuelle.

"La prochaine évolution des claviers virtuels utilisera une technologie robuste de suivi des mains pour suivre avec précision le mouvement de tous les doigts de l'utilisateur", a déclaré DJ Smith, directeur de la création de la société de réalité mixte The Glimpse Group, à Lifewire dans une interview par courrier électronique. "Jusqu'à récemment, les imprécisions du suivi manuel empêchaient un utilisateur de pouvoir le faire ; cependant, les progrès actuels de l'IA et de la vision industrielle rendent rapidement ce type de saisie virtuelle viable."

Zuckerberg déclare qu'il a atteint une vitesse d'environ 100 mots par minute en utilisant le clavier virtuel, tandis que le CTO de Meta, Andrew Bosworth, rapporte avoir atteint 119 mots par minute.

Leur processus de frappe semble être un projet de recherche de Meta qui fait progresser l'état de l'art en matière de clavier pour la réalité virtuelle. Ce qui ressort, c'est l'absence d'accessoires matériels, tels que des bracelets, pour capturer les mouvements de leurs doigts.

Actuellement, les développeurs peuvent créer des claviers virtuels ancrés à une surface sur Quest, en utilisant le suivi manuel et en obligeant les utilisateurs à appuyer sur la surface pour l'étalonnage. Cependant, en termes pratiques, même un léger écart de hauteur entre les surfaces virtuelles et réelles peut conduire à des frappes involontaires.

"Jusqu'à présent, les claviers virtuels ont été utilisés comme principal périphérique de saisie de texte en VR ; cependant, la saisie était lente car il n'y avait aucun moyen pour un utilisateur de taper naturellement avec tous ses doigts", a déclaré Smith. "Créer une expérience de clavier plus efficace est un élément essentiel pour rendre le cas d'utilisation de productivité viable."

Actuellement, les utilisateurs peuvent « générer » un clavier virtuel au sein de leur expérience VR et soit sélectionner chaque lettre avec un seul pointeur laser VR, soit utiliser la « méthode de chasse et de picage » en utilisant un seul doigt sur chaque main virtuelle, a déclaré Smith.

Les progrès actuels de l’IA et de la vision industrielle rendent rapidement ce type de saisie virtuelle viable.

"Ces deux systèmes sont difficiles à utiliser et ont un rythme de saisie très lent", a-t-il ajouté. "Il existe également une option pour un utilisateur VR d'acheter un type spécifique de clavier physique qui s'associe à l'environnement VR. Dans ce cas, l'utilisateur peut voir un jumeau numérique de son clavier physique dans l'environnement VR et taper normalement sur le clavier couplé. Malheureusement, ce système de saisie n'est pas largement utilisé car la plupart des utilisateurs de VR ne possèdent pas le type spécifique de clavier capable de s'associer à l'environnement VR.

Les claviers virtuels pourraient même être vulnérables aux pirates. Une équipe d'experts en informatique de l'Université de Californie à Riverside a démontré que les logiciels espions peuvent surveiller et capturer les mouvements humains. Les algorithmes d’IA peuvent ensuite interpréter ces données en mots avec un taux de précision de 90 % ou plus. Par exemple, un logiciel espion pourrait potentiellement enregistrer ce mot de passe si vous suspendez votre session de jeu virtuel pour accéder à vos messages Facebook en « tapant » votre mot de passe sur un clavier virtuel affiché par le casque.

"En gros, nous montrons que si vous exécutez plusieurs applications et que l'une d'elles est malveillante, elle peut espionner les autres applications", a déclaré Abu-Ghazaleh dans le communiqué de presse. "Il peut espionner l'environnement qui vous entoure, par exemple, en montrant les personnes autour de vous et à quelle distance elles se trouvent. Et il peut également exposer à l'attaquant vos interactions avec le casque."

obturateur_m / Getty Images

Une future option pour les claviers virtuels pourrait consister à utiliser vos yeux pour taper. Le système examinerait chaque clé, puis cliquerait sur un contrôleur ou attendrait un moment prédéterminé pour que le système sélectionne cette clé, a déclaré Jason Yim, PDG de la société de réalité mixte Trigger XR, dans un e-mail. Mais ce qu’on appelle le « regard-tracking » n’est pas facile à utiliser.