Un bidouilleur parvient à faire tourner l’IA générative Llama 2 sur un PowerBook G4
Qui a dit que les vieilles bécanes n’étaient bonnes que pour la casse ? Avec un peu d’astuces et de solides connaissances en développement, tout est pourtant possible ou presque : l’ingénieur logiciel Andrew Rossignol explique ainsi dans un billet de blog comment il est parvenu à faire tourner une intelligence artificielle générative sur un vénérable PowerBook G4 datant du début des années 2000.
L’exploit semble à priori de taille puisque les modèles de langage (LLMs) actuels nécessitent pour la plupart de grosses ressources en serveurs, mais justement, le fait que les performances des IA dépendent autant de processeurs distants est ce qui permet en partie au PowerBook G4 de tirer ses marrons du feu. Malgré une fiche technique rachitique (processeur PowerPC G4 à 1,5 GHz épaulé par 1 Go de RAM), le PowerPC G4 parvient ainsi à exécuter Llama 2 (le LLM de Meta) sans trop de difficultés. Le bidouilleur Andrew Rossignol a tout de même mis les mains dans le cambouis en portant sur la bécane le projet open source llama2.c puis en améliorant les performances globales de l’IA à l’aide d’Altivec, une extension vectorielle PowerPC (entre autres…).