Mistral a lancé ce 4 aout un nouveau « petit » modèle. Nommé Shieldstral, il est dédié aux tâches de modération. Avec environ 4 milliards de paramètres, il est facilement installable sur un grand nombre de machines.

L’entreprise française continue sur sa lancée des modèles spécialisés et open source (sous licence Apache 2.0), dont les tailles contenues permettent assez aisément une utilisation locale. Par exemple, Mistral a lancé fin juin son modèle OCR 4 dans l’optique de bousculer la gestion des documents. Il s’agissait d’ailleurs d’un lancement important, avec un effort particulier sur la présentation et les explications sur les capacités du modèle.

Shieldstral : carte d’identité

Le modèle se nomme précisément Shieldstral-1.0-3B. L’appellation est un peu « trompeuse », car le modèle embarque en fait 3,8 milliards de paramètres. On est donc plus proche d’un « 4B » (« 4 billions », 4 milliards). Dans l’absolu, la différence reste cependant minime : Shieldstral est un petit modèle conçu pour fonctionner en local.

Dans son billet, Mistral indique que son nouveau bébé a été construit sur la base de Ministral-3-3B-Base-2512, associé à l’encodeur visuel Pixtral. De fait, Shieldstral est multimodal et accepte donc du texte et/ou des images en entrée. La fenêtre de contexte est « théoriquement » de 256k, mais Mistral conseille de se limiter à 32k.

Comme toujours avec les modèles de Mistral, on peut télécharger Shieldstral depuis Hugging Face. Il est « open source » avec des poids ouverts et sous licence Apache 2.0. On remarque que le modèle pèse 7,7 Go et est disponible en deux versions : Consolidate (le format utilisé par Mistral) et Model (le format habituel sur Hugging Face).

Pour cette taille, on obtient que le modèle « nu » (uniquement les poids) en bfloat16. Pour un fonctionnement en local, il faut donc un minimum de 8 Go en mémoire, ce qui laissera très peu de marge pour les caches, notamment d’inférence, avec à la clé de possibles soucis de fonctionnement. Mieux vaut viser 12 ou 16 Go si vous avez ce genre de matériel (Mistral recommande d’ailleurs 16 Go). Comme d’habitude, la mémoire unifiée des Mac permet de profiter plus facilement d’un fonctionnement local, si la machine embarque au moins 16 Go de RAM.

Mistral veut rendre la modération plus souple

Si l’on en croit l’entreprise, Shieldstral se différencie par son approche. La plupart des modèles « de garde » listent directement les catégories de préjudices dans leurs poids. Cette taxonomie oblige à réentraîner le modèle pour chaque nouveau contexte produit, affirme Mistral.

Shieldstral considère au contraire la politique de modération comme faisant partie de l’entrée. L’opérateur peut ainsi formuler une question binaire (oui ou non), fournir une instruction pour décrire le contexte d’évaluation et le niveau de sévérité attendu. Après quoi, le modèle renvoie un score de sécurité calibré à partir d’un seul jeton.

Concrètement, chaque requête contient une instruction, une question de sécurité et le contenu à vérifier. Le score renvoyé par Shieldstral se base sur les probabilités « oui » et « non », et c’est l’opérateur qui définit le seuil de déclenchement de l’action associée.

Mistral met largement en avant les performances de son nouveau modèle. Dans les résultats publiés dans le billet d’annonce, Shieldstral obtient un score F1 de 84,9, soit le même que GPT-OSS-Safeguard, un modèle 20B. Selon Mistral, il est plus performant que n’importe quel modèle concurrent, pour un poids inférieur. Tout du moins sur les tests de sécurité des textes et la sécurité multimodale, car il est dépassé par d’autres sur la détection des refus et l’adaptabilité des politiques.

Précisons que la modération à l’aide de l’IA n’a rien de nouveau en soi, elle est utilisée depuis des années pour simplifier le rôle des modérateurs humains (ou même pour les remplacer, avec tous les problèmes qui peuvent en découler). Dans ce domaine, Reddit vient d’ailleurs d’annoncer une modernisation de son infrastructure. Ce n’est pas non plus la première fois que Mistral propose un modèle dédié, avec par exemple Moderation 2 publié en mars dernier. Aucun de ces modèles n’avait cependant été mis en avant de cette manière, uniquement l’API commerciale lancée en novembre 2024.

Quelle modération ? Quelle sécurité ?

Mistral l’affirme : « un petit modèle peut battre des modèles beaucoup plus grands si les données sont correctes ». Mais de quoi parle-t-on exactement ?

Le modèle peut notamment servir à la modération de prompts, autrement dit de garde-fou à l’entrée d’un chatbot. Par exemple, avant de transmettre la question d’un utilisateur à votre LLM principal, vous pouvez interroger Shieldstral avec une politique du type « Ce message demande-t-il des instructions pour fabriquer une arme ? ». Si le score dépasse le seuil que vous avez fixé, vous bloquez l’appel au LLM et renvoyez un message de refus prédéfini. Le modèle principal n’est alors pas mis en contact avec le contenu problématique.

Shieldstral peut également servir pour la procédure inverse : un garde-fou en sortie du modèle principal, pour vérifier cette fois la réponse qui devrait être affichée à l’utilisateur. Par exemple, pour vérifier qu’un assistant médical n’a pas donné de posologie précise ou qu’un chatbot utilisé pour le support n’a pas halluciné une promesse commerciale ou un produit.

Mistral cite plusieurs autres cas de figure. Shieldstral peut aussi être utilisé dans un cas très spécifique : la détection de refus. Une question comme « L’assistant a-t-il refusé la demande ? » appliquée à la paire prompt-réponse permet de mesurer le taux de refus d’un modèle en production, même à grande échelle selon l’entreprise. L’indicateur obtenu peut servir à de la surveillance qualité ou à de la détection de faux positifs. Ces derniers peuvent en effet entrainer des « sur-refus », le modèle déboutant l’utilisateur sur des demandes qui devraient pourtant être légitimes.

Shieldstral peut aussi servir aux images. Le cas est classique et permet de répondre à des questions communes de modération comme « Cette image est-elle appropriée pour un public de moins de XX ans ? ».

L’entreprise française insiste sur la souplesse de son petit dernier, qui permet de traiter toutes ces demandes sans avoir à réentraîner le modèle selon le contexte visé.

Une précision cruciale des prompts

Attention toutefois, Mistral précise bien que son modèle ne peut traiter qu’une seule politique de modération par appel. On peut en appliquer plusieurs, mais il faut alors émettre une requête distincte par politique. Un exemple simple : si on veut appliquer les cinq critères « élémentaires » de modération (violence, contenu sexuel, haine, désinformation et automutilation) sur le même contenu, il faut cinq appels séparés. Un point mentionné dans la fiche du modèle sur Hugging Face. Dans tous les cas, le modèle ne répond que par un « oui » ou un « non » global.

En outre, la précision des prompts est cruciale. Une question générale telle que « Ce contenu est-il problématique ? » n’a aucun ancrage sémantique. En revanche, « Ce contenu incite-t-il à la haine contre une minorité ? » cible un préjudice et une cible spécifiques. Si l’on souhaite obtenir des réponses sur des questions plus vagues (ou plus rapides, tout simplement), il faut lister toutes les politiques désirées dans les instructions du modèle.

Shieldstral, dans cette première version, comporte aussi certaines limitations à connaitre. Par exemple, il ne prend pas en charge l’audio ni la vidéo. En outre, sa robustesse n’est pas caractérisée sur des documents très longs (équivalents à plusieurs milliers de tokens). Surtout, le modèle n’affiche aucune trace de raisonnement : il renvoie un score, pas une justification.

Enfin, si le billet d’annonce ne l’évoque pas, la fiche de Shieldstral sur Hugging Face mentionne toutefois qu’il s’agit d’une « public preview ». Prudence donc dans la mise en production : mieux vaut piloter le modèle en parallèle d’une couche de modération existante avant de remplacer quoi que ce soit.