Apple a intégré ChatGPT avec Siri dans la version bêta d’iOS 18.2, permettant ainsi aux utilisateurs de poser des questions sur les photos et les documents (tels que les PDF). En demandant à Siri, « qu’est-ce que cette photo ? » une capture d’écran est réalisée et envoyée à ChatGPT, qui transmet ensuite des informations sur l’image ou le document en question. Cette intégration ne correspond pas tout à fait à la fonction « Onscreen » prévue par Apple pour Siri, qui permettra à l’assistant de comprendre et d’agir sur les éléments directement à l’écran, comme l’ajout d’une adresse partagée à un contact : « Lorsqu’un utilisateur pose une question sur le contenu à l’écran ou souhaite effectuer une action, Siri et Apple Intelligence peuvent récupérer le contenu pour répondre à la question et exécuter l’action. Si l’utilisateur le demande explicitement, Siri et Apple Intelligence peuvent envoyer du contenu à des services tiers pris en charge. Par exemple, quelqu’un pourrait consulter un site web et utiliser Siri pour fournir un résumé en disant ou en tapant une phrase comme « Hey Siri, de quoi parle ce document ? »

iOS 18 Ecran Accueil iPhone Application Photos Siri Nouvelle Interface

La fonction « Onscreen », ainsi que d’autres fonctionnalités de Siri telles que le contexte personnel et les actions dans l’application, devraient arriver avec iOS 18.4 dans le courant du printemps 2025. Apple fournit donc déjà aux développeurs certaines APIs correspondantes afin que ces derniers disposent de suffisamment de temps pour intégrer fonctionnalités, en s’assurant que ces mêmes fonctionnalités seront prêtes à l’usage dès la sortie d’iOS 18.4. Les nouveautés principales d’iOS 18.2 bêta 2 sont décrites dans cet article.