Apple vient d’obtenir auprès de l’USPTO (bureau des brevets américain) un brevet décrivant un système avancé de reconnaissance des gestes destiné aux environnements XR. Le brevet décrit les moyens de réduire les erreurs d’interprétation et ainsi éviter qu’un geste volontaire soit rejeté par le système. Ce serait évidemment une avancée importante pour le Vision Pro, voire de futures lunettes de réalité augmentée et même, à terme, des Mac intégrant le suivi des mains.

Spatial Persona Vision Pro visionOS

Le document met en lumière un problème bien connu de l’informatique spatiale : l’utilisateur exécute le bon geste, mais celui-ci est ignoré en raison d’un léger décalage du regard ou d’une position de main imparfaite. Apple reconnaît que ces situations peuvent entraîner un rejet accidentel des commandes. La solution repose sur un modèle adaptatif capable d’ajuster ses paramètres en temps réel.

Un système intelligent qui apprend de l’intention

Des règles plus souples en cas de seconde tentative

Si un premier pincement pour sélectionner un élément échoue, le système analyse la cause et assouplit ses critères lors de la tentative suivante. La zone de ciblage visuel peut être élargie et les seuils de validation ajustés, augmentant ainsi la probabilité de succès. Cette approche s’inspire d’un principe humain simple, qui fait que répéter un geste traduit une intention claire.

Une analyse multimodale renforcée par le machine learning

Le dispositif combine plusieurs flux de données, soit la direction du regard, la géométrie de l’interface, la posture 3D de la main, les relations entre les articulations et les indices visuels extraits des images caméra. Un « réseau de fusion » agrège ces informations afin de distinguer un mouvement involontaire d’une action délibérée.

Une avancée majeure pour l’écosystème XR d’Apple

En réduisant les faux négatifs tout en évitant les déclenchements accidentels, Apple entend rendre ses interfaces plus intuitives, accessibles et tolérantes. Cette approche centrée sur l’utilisateur pourrait devenir un facteur différenciant majeur face aux solutions concurrentes encore dépendantes de contrôleurs physiques.

Comme souvent chez Apple, ce brevet esquisse les fondations pour le futur. Si l’histoire se répète, cette technologie pourrait ainsi préfigurer la prochaine génération d’interfaces immersives conçues pour se faire oublier au profit d’interactions véritablement « naturelles ».