XR AI : NVIDIA donne des yeux et une voix aux lunettes AR
NVIDIA franchit une nouvelle étape dans l’essor de l’IA agentique en dévoilant la version bêta publique de XR AI. Cette bibliothèque open source, pensée pour les lunettes augmentées et les casques de réalité mixte, permet aux développeurs de créer des assistants capables d’analyser en direct ce que l’utilisateur regarde et de l’accompagner, sans qu’il ait à utiliser ses mains. Loin des usages domestiques, la technologie vise d’abord les environnements professionnels exigeants : blocs opératoires, chaînes de production ou laboratoires de recherche en biologie. Concrètement, l’agent traite les flux vidéo, audio et capteurs de l’appareil, interagit avec les bases de données de l’entreprise, et restitue des conseils contextuels en temps réel, le tout sans interrompre la tâche en cours.
Une architecture découpée en quatre modules, avec une gestion rigoureuse de la latence
La bibliothèque repose sur une structure modulaire en quatre étapes. Elle commence par capturer les données brutes issues du casque – images, son, profondeur et position –, puis les connecte à des outils tiers par l’intermédiaire du protocole MCP, ouvrant ainsi l’accès à des systèmes internes comme les jumeaux numériques ou les logiciels de maintenance. Le raisonnement, quant à lui, s’appuie sur les modèles Nemotron et Cosmos Reason de NVIDIA, tandis que l’orchestration de multiples agents est gérée par le NeMo Agent Toolkit. Un soin particulier a été apporté à la réduction du temps de réponse : les images restent en mémoire partagée, seules des métadonnées allégées circulent dans le réseau, et les données visuelles ne sont soumises aux modèles qu’en cas de besoin avéré. Cette approche se révèle cruciale pour des lunettes portées durant une journée entière de travail. L’infrastructure peut être déployée dans le cloud, en datacenter ou en local, sur des systèmes DGX Spark, DGX Station ou RTX PRO.
Premières mises en œuvre chez Siemens, Stanford et l’UPMC
Les premiers tests grandeur nature esquissent déjà le potentiel de la plateforme. Siemens explore, dans le cadre de travaux de recherche, comment un technicien de maintenance équipé de lunettes légères pourrait interroger un agent sur une défaillance de contrôleur programmable et recevoir des consignes en temps réel, en recoupant les données du jumeau numérique avec les processus d’automatisation de l’usine. Dans le domaine scientifique, la start-up Rana a intégré XR AI à son système LabOS pour guider des chercheurs en thérapie cellulaire et en édition génomique CRISPR, au sein des laboratoires Cong Lab de Stanford et Wang Lab de Princeton, en leur offrant un accompagnement pas à pas sans qu’ils aient à quitter leur poste de travail des yeux.
De son côté, l’UPMC (University of Pittsburgh Medical Center) a présenté une application en salle d’opération : l’agent est programmé pour ne pas obstruer la vision du chirurgien, en n’affichant que des informations utiles sans créer de gêne visuelle. LabOS est aujourd’hui compatible avec les lunettes Meta, Rokid et VITURE. Ce dernier fabricant a d’ailleurs dévoilé à l’AWE 2026 « Helix », ses premières lunettes de sécurité à intelligence artificielle, bâties sur XR AI. Dans le même temps, Qualcomm a lancé la puce Snapdragon Reality Elite, promettant +60 % de performances GPU, +30 % de puissance CPU et 20 % d’autonomie supplémentaires par rapport à la génération précédente, de quoi équiper les futures lunettes AR à calcul embarqué.
NVIDIA étoffe sa stratégie logicielle pour l’IA du monde réel
Au-delà de la seule commercialisation de GPU pour l’entraînement des modèles, NVIDIA construit méthodiquement une pile logicielle complète, du capteur jusqu’au raisonnement, afin de s’imposer comme l’infrastructure de référence pour l’IA agentique dans l’univers physique. XR AI s’inscrit dans la continuité de son Avatar Cloud Engine ou de l’écosystème Omniverse : fournir aux développeurs une base réutilisable plutôt qu’un produit fini, et capter ainsi la valeur à chaque niveau de la chaîne technologique.
En rendant la bibliothèque accessible sur GitHub, NVIDIA abaisse les barrières à l’entrée pour les créateurs, même si le parcours entre un prototype prometteur et un dispositif certifié pour un usage médical reste long. La firme multiplie les investissements dans l’écosystème IA, et XR AI constitue une brique supplémentaire de cette ambition. L’IA agentique capable de percevoir et d’interagir avec le monde physique en temps réel sort des laboratoires : elle s’immisce progressivement dans des processus opérationnels, bien que les déploiements demeurent encore expérimentaux. L’enjeu, toutefois, dépasse la simple annonce technique : il s’agit d’une compétition pour définir qui maîtrisera l’infrastructure logicielle des agents évoluant dans le monde tangible.
