GenAI : Google agrandit sa famille de LLM Gemma 2 et met l’accent sur la sécurité

La firme de Mountain View se veut plus responsable. Pour soutenir le développement d’une intelligence artificielle « sûre, petite et transparente », elle dévoile une version 2.0 de son petit modèle à 2 milliards de paramètres ainsi que des outils de classification des contenus toxiques qui peuvent être ingurgités ou recrachés par les modèles d’IA.

La sécurité a le vent en poupe depuis quelques mois. Les géants de la tech semblent (enfin) prêts à y accorder une attention particulière, voir à placer celle-ci au cœur du développement de leurs modèles. Google emboîte le pas à ses semblables et annonce vouloir « faire progresser l’IA responsable avec Gemma » en proposant une intelligence artificielle qui soit « la plus petite, plus sûre, plus transparente ». La firme lève ainsi le voile sur plusieurs solutions.

Cela comprend Gemma 2 2B – une toute nouvelle version de son LLM à 2 milliards de paramètres -, ShieldGemma – une suite de modèles de classification du contenu de sécurité, construits sur Gemma 2, pour filtrer les entrées et les sorties des modèles d’IA et assurer la sécurité de l’utilisateur, et enfin, Gemma Scope – un outil d’interprétation des modèles pour comprendre le fonctionnement interne des modèles de Google.

Une v2 de son modèle à seulement 2 milliards de paramètres

Gemma 2 2B constitue « un ajout très attendu à la famille Gemma 2 », indiquent les ingénieurs ayant planché sur son développement. Considéré comme léger, ce modèle s’inspire d’autres plus grands de la famille Gemma 2 – incluant les versions à 9 et 27 milliards de paramètres – par processus de distillation et permet de parvenir à des performances intéressantes à en croire les tests réalisés par les équipes de Google. Il a été entraîné sur 2 000 milliards de jetons de sources variés allant de documents web, du code, à des textes mathématiques. Un ensemble de données d’entraînement qui propulse donc Gemma 2 2B en tête du podium, devant Mixtral 8x7B Instruct, les modèles GPT-3.5 et Llama 2 70B sur le benchmark dédié, Chatbot Arena.

Autre avantage : Google affirme qu’il est possible d’exécuter ce modèle léger dans le cloud ou en local sur divers appareils, notamment des ordinateurs portables. Toutefois, la firme conseille d’utiliser les GPU RTX ou GeForce RTX de Nvidia, référence en la matière. De plus, « pour améliorer encore sa vitesse, il est optimisé avec la bibliothèque Nvidia TensorRT-LLM et est disponible en tant que microservice NIM », précise le géant. Les poids du modèle peuvent être téléchargés à partir de Kaggle, Hugging Face ou encore Vertex AI Model Garden. Il est également possible de tester ses capacités dans Google AI Studio.

Des outils de classification pour proposer des modèles « safe »

Au-delà du développement de ce modèle compact, Google présente ShieldGemma, une série de classificateurs de sécurité conçus pour détecter et atténuer les contenus nuisibles dans les entrées et les sorties des modèles d’IA. ShieldGemma cible spécifiquement quatre domaines clés de préjudice : les discours de haine, le harcèlement, le contenu sexuellement explicite et le contenu dangereux.

Ces classificateurs accessibles aux développeurs rejoignent la suite existante de classificateurs de sécurité dans le Responsible AI Toolkit, qui comprend une méthodologie pour construire des classificateurs adaptés à une politique spécifique avec un nombre limité de points de données, ainsi que des classificateurs existants prêts à l’emploi de Google Cloud servis par API.

Point intéressant, Google a déployé plusieurs versions adaptées aux différentes tailles de ses modèles : ainsi, le modèle 2B est idéal pour les tâches de classification en ligne, tandis que les versions 9B et 27B offrent des performances supérieures pour les applications hors ligne où la latence est moins importante.

Observer la famille de LLM Gemma 2 au microscope

Enfin, la firme de Mountain View propose à ses utilisateurs de découvrir le fonctionnement interne de Gemma 2 via Gemma Scope. Disponible sur Neuronpedia, la solution – comparée à un microscope – utilise des autoencodeurs épars (SAE) pour zoomer sur des points spécifiques du modèle et rendre son fonctionnement interne plus interprétable.

Ces SAE sont des réseaux neuronaux spécialisés qui aident à décortiquer les informations denses et complexes traitées par Gemma 2, en les développant sous une forme plus facile à analyser et à comprendre. En étudiant cela, les chercheurs peuvent obtenir des informations clé sur la manière dont Gemma 2 identifie les modèles, traite les informations et, en fin de compte, fait des prédictions.

Source : usine-digitale.fr