L’intelligence artificielle est de plus en plus présente, que ce soit avec Apple Intelligence, ChatGPT et d’autres outils. Mais tout n’est pas parfait, loin de là en réalité. Une étude de l’équipe d’IA chez Apple se penche justement sur le sujet.

Apple Intelligence iPhone 16

Des problèmes de logique avec les IA

L’étude décrit l’évaluation par Apple d’une série de modèles de langage de premier plan, y compris ceux d’OpenAI, de Meta et d’autres groupes notables, afin de déterminer dans quelle mesure ces modèles peuvent traiter des tâches de raisonnement mathématique. Les résultats révèlent que même de légères modifications dans la formulation des questions peuvent entraîner des écarts importants dans les performances des modèles, ce qui peut nuire à leur fiabilité dans des scénarios exigeant une cohérence logique.

Apple attire l’attention sur un problème persistant dans les modèles de langage : leur dépendance à l’égard de la correspondance des modèles plutôt qu’à l’égard d’un véritable raisonnement logique.

Dans plusieurs tests, les chercheurs ont démontré que l’ajout d’informations non pertinentes à une question – des détails qui ne devraient pas avoir d’incidence sur le résultat mathématique – peut conduire à des réponses très différentes de la part des modèles.

Des informations non pertinentes qui changent la donne

L’un des exemples concerne un problème mathématique simple demandant combien de kiwis ont été ramassés par une personne sur plusieurs jours. Lorsque des détails non pertinents (comme la taille de certains kiwis) ont été ajoutés, des modèles tels que o1 d’OpenAI et Llama de Meta ont incorrectement ajusté le résultat, bien que les informations supplémentaires n’aient aucune incidence sur la solution.

« Nous n’avons trouvé aucune preuve de raisonnement formel dans les modèles de langage », indique l’équipe d’IA d’Apple dans son étude. « Leur comportement s’explique mieux par un appariement sophistiqué – si fragile, en fait, qu’un changement de nom peut modifier les résultats d’environ 10% ».

Selon les chercheurs d’Apple, les modèles n’utilisent pas de logique réelle pour résoudre les problèmes, mais s’appuient sur une reconnaissance des formes sophistiquée apprise au cours de la formation. Et c’est un problème sachant que certains usages de l’IA nécessitent un résultat précis, étant donné qu’ils peuvent avoir un impact sur la vie réelle.

Il faut donc espérer qu’Apple Intelligence s’en sortira mieux à ce niveau. Mais les Européens devront attendre, puisque l’IA ne sera pas disponible pour eux au lancement avec iOS 18.1.