OpenELM : Apple dévoile un modèle de langage open source pour l’IA
Apple poursuit ses efforts dans l’intelligence artificielle en dévoilant OpenELM (Open-source Efficient Language Models). Il s’agit d’un grand modèle de langage (LLM) qui permet d’avoir de l’IA fonctionnant en local sur les appareils plutôt que se reposer sur le cloud.
Il existe au total huit modèles pour OpenELM, dont quatre ont été pré-entraînés à l’aide de la bibliothèque CoreNet, et quatre modèles adaptés aux instructions. Apple utilise une stratégie de mise à l’échelle par couches qui vise à améliorer la précision et l’efficacité.
Apple a fourni le code, les journaux d’entraînement et plusieurs versions plutôt que le modèle final entraîné. Les chercheurs à l’origine du projet espèrent que cela permettra de progresser plus rapidement et d’obtenir des résultats plus fiables dans le domaine de l’IA en langage naturel.
On peut notamment lire dans le document dédié :
OpenELM, un modèle de langage ouvert de pointe. OpenELM utilise une stratégie de mise à l’échelle par couches pour allouer efficacement les paramètres dans chaque couche du modèle de transformation, ce qui permet d’améliorer la précision. Par exemple, avec un budget d’environ un milliard de paramètres, OpenELM présente une amélioration de 2,36% de la précision par rapport à OLMo, tout en nécessitant deux fois moins de tokens de pré-entraînement.
Le partage des modèles open source permet aux chercheurs d’étudier les risques, les données et les biais des modèles. Les développeurs et les entreprises peuvent utiliser les modèles tels quels ou les modifier.
Il faut s’attendre à ce qu’OpenELM et les autres efforts d’Apple dans l’IA fassent leur apparition dans iOS 18. Toutes les rumeurs s’accordent sur le fait que la prochaine grosse mise à jour pour iPhone et iPad se focalisera sur l’intelligence artificielle.
