Juste avant le week-end prolongé de Pâques, Google a lancé son nouveau modèle Gemma 4, en open source avec une licence relativement permissive : Apache 2.0. Il est proposé en quatre variantes, de 2,3 à 30,7 milliards de paramètres ; de quoi tourner sur une large gamme de terminaux.

C’est une annonce importante dans le monde des grands modèles de langage open source (y compris les poids) : Gemma 4 de Google (DeepMind). Ce n’est pas la première fois qu’un modèle open source sous licence Apache 2.0 est publié, mais c’est un mouvement intéressant de Google dans le secteur.

De 2,3 à 30,7 milliards de paramètres, avec une « mixture »

Quatre modèles Gemma 4 sont disponibles : E2B, E4B, 26B A4B et 31B. Ils proposent respectivement 2,3, 4,5 , 25,2 et 30,7 milliards de paramètres. A4B est un modèle Mixture of Experts (MoE) avec seulement 3,8 milliards de paramètres actifs pour chaque token.

Ils sont multimodaux, c’est-à-dire qu’ils « traitent les entrées de texte et d’image (l’audio est pris en charge sur les petits modèles) et génèrent des sorties de texte ».

Un MoE est un grand modèle dont seulement une partie est utilisée en inférence, réduisant les besoins en puissance de calcul. Afin de distinguer facilement les modèles, Google utilise une nomenclature spéciale au début du nom en fonction du nombre de paramètres : E pour effectifs, A pour actifs.

• #Nextquick MoE : c’est quoi cette mixture d’experts pour les IA génératives ?

Les deux petits modèles de 2,3 et 4,5 milliards de paramètres ont une largeur de contexte de 128 000 jetons, contre 256 000 pour les deux autres. Gemma 4 dispose d‘un « mode de raisonnement intégré qui permet au modèle de réfléchir étape par étape avant de répondre ». La taille du dictionnaire est de 262 000 mots.

Il est capable d’analyser des images et des vidéos, propose une prise « en charge native de l’utilisation structurée des outils, permettant des workflows d’agent » et, c’est dans l’air du temps, la « génération, complétion et correction de code ». E2B et E4B disposent aussi d’une fonction de reconnaissance vocale.

Tous les détails se trouvent par ici. Google propose aussi des résultats de benchmarks maison et compare ses quatre modèles Gemma 4 à la version 27B (27 milliards de paramètres, sans raisonnement) de Gemma 3. Cette annonce intervient au moment même ou Anthropic a décidé de revoir sa gestion des comptes payants, avec le passage obligatoire via l’API pour les applications tierces.

• Anthropic change ses règles du jeu, des applications tierces aux limites des sessions

Gemma 4 en open source passe sous licence Apache 2.0

Google propose ses modèles sous la licence Apache 2.0. Comme le rappelle Wikipédia, elle est « considérée comme permissive car elle accorde des droits étendus aux utilisateurs, tout en imposant relativement peu de restrictions […] D’autoriser la modification et la distribution du code sous toute forme (libre ou propriétaire, gratuit ou commercial) et, d’autre part, d’obliger le maintien du copyright lors de toute modification ».

Pour ses précédents modèles, Google utilisait une licence maison baptisée « Gemma Terms of Use ». Elle précise notamment « que Google se réserve le droit de restreindre l’utilisation de tout service Gemma que Google estime raisonnablement être en violation du présent accord ».

Google rejoint ainsi Mistral et son modèle 7B (septembre 2023), OpenAI avec gpt-oss-120b, ainsi que Qwen d’Alibaba, qui sont sous licence Apache 2.0. Avec ses modèles LLaM, Meta propose une « licence limitée », avec des restrictions.

Google met largement en avant le côté open source de Gemma 4 : « les modèles ouverts sont des systèmes d’IA dont les poids du modèle sont publiquement disponibles pour que n’importe qui puisse les télécharger, les étudier, les affiner et les utiliser sur son propre matériel (téléphones, ordinateurs, etc.) ». Un des avantages des modèles ouverts est en effet de pouvoir les faire tourner en local sur votre ordinateur, sans envoyer aucune donnée en ligne.

En fonction de la précision, la taille occupée en mémoire pour les modèles varie de 3,2 à près de 60 Go, laissant en effet entrevoir une large gamme d’appareils compatibles. Nous reviendrons prochainement avec quelques tutos pour installer des IA génératives en local.