Computer Use d’OpenAI améliore son application Codex sur macOS avec une fonction bien plus intrusive que le simple code. OpenAI permet désormais à son agent IA d’utiliser des applications Mac à distance, y compris lorsque l’écran est éteint et que la machine reste verrouillée.

Codex Application Mac Ecran Verrouille

Un contrôle encadré application par application

La nouveauté change le rôle de Codex sur Mac. L’agent IA ne se limite plus aux outils accessibles depuis le terminal et peut désormais agir dans des interfaces graphiques pendant que l’utilisateur est absent, y compris à partir d’une tâche envoyée depuis son téléphone.

OpenAI a illustré cette fonction avec un Mac verrouillé affichant une message « Codex est train d’utiliser votre Mac ». L’interface prévoit aussi une reprise en main immédiate, avec une invitation à appuyer sur une touche ou à cliquer pour déverrouiller la machine.

Pour activer Computer Use sur Codex, il faut installer le plugin dédié puis lui accorder les permissions relatives à l’enregistrement de l’écran et à l’accessibilité. Une fois cet élément en place, Codex peut cliquer dans les fenêtres, saisir du texte, naviguer dans les menus et utiliser le presse-papiers.

Ce contrôle ne s’étend pas à tout le système sans filtre. Codex demande une autorisation avant d’agir dans chaque nouvelle application et l’utilisateur peut ensuite conserver cet accès avec une option « Toujours accepter » pour certaines application.

OpenAI pose aussi plusieurs limites dès le lancement. La fonction n’est pas disponible dans l’Espace économique européen, au Royaume-Uni ni en Suisse. Elle ne peut pas non plus automatiser les applications Terminal, Codex lui-même ou les invites système qui exigent des droits administrateur.

Codex vise désormais certaines tâches

OpenAI présente cette évolution comme une réponse aux tâches que la ligne de commande couvre mal. Codex peut par exemple reproduire un bug qui n’existe que dans une interface graphique, modifier des réglages dans une application ou exécuter un parcours dans une application qu’il aide à créer.

Cette mise à jour s’inscrit dans une montée en puissance plus large de Codex sur macOS. OpenAI a également ajouté Appshots, une fonction qui injecte dans un fil Codex une capture d’écran et du texte extraits d’une fenêtre de macOS via un raccourci clavier. Le mode « /goal » pousse la même logique plus loin en laissant un agent poursuivre un objectif sur plusieurs heures ou plusieurs jours.