L’Apple Vision Pro s’invite chez Nvidia qui l’utilise dans le développement de robots humanoïdes. Le casque sert d’instrument pour contrôler les robots en ce qui concerne le microservice MimicGen NIM de la société.

Nvidia Robot Humanoide Vision Pro

Nvidia souligne que la formation de modèles de base pour les robots humanoïdes nécessite une quantité importante de données. La téléopération est l’un des moyens de recueillir des données de démonstration humaine, mais ce processus devient de plus en plus coûteux et de plus en plus long.

C’est là qu’intervient l’Apple Vision Pro. Le système de Nvidia permet aux chercheurs et aux développeurs d’IA de générer des quantités notables de données synthétiques de mouvement et de perception à partir d’un nombre minimal de démonstrations humaines capturées à distance.

Les développeurs utilisent l’Apple Vision Pro pour capturer un petit nombre de démonstrations téléopérées. Ils simulent ensuite les enregistrements dans Nvidia Isaac Sim et utilisent le microservice MimicGen NIM pour générer des ensembles de données synthétiques à partir des enregistrements.

Concernant le porteur du casque de réalité mixte, il est capable de voir ce que le robot humanoïde voit. 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI font partie des entreprises qui ont rejoint le programme pour tester ce service.

Il s’agit en tout cas d’un rare partenariat entre Apple et Nvidia. Les deux sociétés s’apprécient moyennement. Avec les Mac Intel, Apple se tournait essentiellement vers AMD plutôt que Nvidia pour les puces graphiques. Et plus récemment, Apple a indiqué utiliser les processeurs Tensor de Google plutôt que le matériel de Nvidia pour entraîner son IA Apple Intelligence.