Alors que se multiplient les agents d’intelligence artificielle capables d’utiliser un ordinateur, Apple s’est penchée sur une question clé : comment les utilisateurs souhaitent-ils réellement interagir avec ces systèmes ? Dans une étude intitulée Mapping the Design Space of User Experience for Computer Use Agents, quatre chercheurs de la firme de Cupertino explorent les attentes concrètes du public en matière d’UX.

Les travaux ont débuté par l’analyse de neuf agents disponibles sur desktop, mobile et web, dont ceux développés par OpenAI ou Anthropic. L’objectif consiste ici à identifier les grands principes d’interface déjà adoptés par l’industrie. Les chercheurs ont ensuite établi une taxonomie structurée autour de quatre piliers, la formulation des requêtes, l’explicabilité des actions de l’agent, le contrôle laissé à l’utilisateur et la compréhension des capacités du système.

Une expérimentation immersive

Pour confronter ces concepts à la réalité, 20 participants familiers des IA ont été invités à réaliser des tâches concrètes (réservation de location, achat en ligne) via une interface simulée. À leur insu, l’« agent » était incarné par un chercheur pilotant réellement l’ordinateur.

Les utilisateurs pouvaient interrompre l’agent ou observer ses actions. Certaines erreurs étaient volontairement introduites afin d’évaluer leurs réactions face à des décisions ambiguës ou incorrectes.

Ce que veulent vraiment les utilisateurs

Résultat, les participants réclament de la visibilité sur les actions menées, sans pour autant devoir superviser chaque étape. Ces derniers souhaitent davantage de confirmations lorsque les actions ont des conséquences réelles, comme un paiement ou une modification de compte. En outre, la confiance chute rapidement lorsque l’agent prend des initiatives non signalées.

Cette étude met en lumière un équilibre délicat entre autonomie algorithmique et contrôle humain, équilibre qui sera probablement un enjeu important pour les développeurs qui ambitionnent d’intégrer des capacités agentiques (d’IA) dans leurs applications.