Apple poursuit ses travaux sur l’intelligence artificielle générative appliquée au développement logiciel. Après UICoder, un projet visant à produire du code d’interface fonctionnel à partir de descriptions textuelles, les chercheurs de la firme de Cupertino viennent de dévoiler une nouvelle étude consacrée à l’amélioration des interfaces via les retours directs de designers professionnels.

Le constat de départ est clair : les méthodes classiques de type RLHF ne sont « pas alignées avec les flux de travail des designers et ignorent la richesse de leurs raisonnements critiques ». Apple a donc choisi une autre approche, qui consiste à faire intervenir des designers pour commenter, annoter, dessiner ou modifier directement des interfaces générées par IA, avant de transformer ces améliorations en données d’apprentissage.

Un entraînement basé sur l’expertise créative

Au total, 21 designers aux profils variés ont participé à l’étude, produisant plus de 1 400 annotations. Ces données ont servi à entraîner un modèle de récompense capable d’évaluer automatiquement la qualité visuelle et fonctionnelle d’une interface à partir d’une capture d’écran et d’une simple description textuelle.

Apple s’est aussi appuyée sur la famille de modèles Qwen-Coder, avant de tester la généralisation du système sur plusieurs variantes plus récentes et plus compactes.

Des résultats prometteurs face aux modèles géants

Selon les chercheurs, les modèles entraînés avec ce type de feedback natif ont généré des interfaces nettement supérieures à celles produites via des évaluations classiques. L’un d’eux aurait même surpassé GPT-5 sur certains tests, à partir d’un volume de données pourtant relativement réduit.

Les auteurs soulignent néanmoins la forte subjectivité de l' »acceptation d’un design » : les évaluateurs humains ne sont d’accord que dans 49 % des cas lorsqu’il s’agit de comparer deux interfaces. En revanche, lorsque les designers montrent concrètement leurs intentions via des  croquis ou des modifications directes, l’accord grimpe alors à plus de 75 %.

Cette approche pourrait à terme transformer les outils de développement visuel, en rapprochant davantage l’IA des méthodes de travail réelles des créateurs d’interfaces, tout en accélérant la production d’applications plus cohérentes et intuitives. On note enfin que ce type de travaux prouve qu’Apple cherche une voie médiane concernant l’intégration de l’IA dans les processus de conception et de développement, une voie qui laisse une place aux professionnels (ici les designers d’interfaces), à l’heure ou d’autres géants de la tech privilégient le remplacement pur et simple du travailleur humain (et licencient en masse en conséquence).