Accenture, AT&T et Shopify parmi les premiers utilisateurs de Llama 3.1

Les modèles Llama approchent les 350 millions de téléchargements à ce jour et ont été téléchargés plus de 20 millions de fois rien que le mois dernier. Cherchant à prouver que sa famille de modèles Llama 3.1, dévoilée en juillet, fait grimper les téléchargements en flèche, Meta présente les témoignages de plusieurs utilisateurs prestigieux.

Sortie il y a à peine un mois, la famille de modèles Llama 3.1 s’était fait remarquer, notamment en raison de la taille – déraisonnable – de son modèle phare qui comporte pas moins de 405 milliards de paramètres. Doté d’une fenêtre contextuelle de 128 000 tokens, il peut rivaliser avec les meilleurs LLM, notamment GPT-4, GPT-4o et Claude 3.5 Sonnet, et est capable de gérer huit langues. Au-delà de cette version gargantuesque, la famille de LLM comprend deux autres versions respectivement de 8 et 70 milliards de paramètres.

Sans surprise, Meta a poussé sur le devant de la scène son modèle le plus massif. La firme le décrit comme « le premier modèle disponible en libre accès qui rivalise avec les meilleurs modèles d’IA en termes de capacités de pointe dans les domaines de la connaissance générale, de l’orientation, des mathématiques, de l’utilisation d’outils et de la traduction multilingue ». Un travail qui a coûté cher : le modèle a été entraîné sur plus de 15 000 milliards de tokens.

Pour y parvenir, les équipes de Meta ont optimisé la pile complète d’entraînement et poussé cela sur plus de 16 000 GPU H100, un exploit pour l’entraînement d’un modèle à cette échelle. Un nombre d’autant plus important quand on sait que la firme s’est constituée une mine d’or de GPU : son infrastructure comptera l’équivalent de 600 000 H100 d’ici à la fin de l’année, et elle en a commandé encore beaucoup d’autres.

Accenture, AT&T ou encore DoorDash ont déjà adopté Llama 3.1

Aujourd’hui, Meta clame à qui veut l’entendre que « Llama est à la pointe de l’ouverture, de la modifiabilité et de la rentabilité ». Et pour le prouver, quoi de mieux que faire entendre la voix de ses utilisateurs ? A commencer par le géant du conseil Accenture. Ce dernier explique utiliser Llama 3.1 pour construire un LLM personnalisé pour les rapports ESG. Sont attendues au tournant des améliorations de l’ordre de 70% de la productivité et de l’ordre de 20 à 30% de la qualité, par rapport à la méthode actuelle employée pour la génération du rapport ESG annuel du cabinet.

Le fournisseur de services téléphoniques américain AT&T a également opté pour les modèles Llama 3.1. Après avoir été fine-tuned, ces derniers doivent donner un coup de main au service client de la firme, notamment dans le but de mieux comprendre les tendances, les besoins et les opportunités clés. De manière plus générale, AT&T affirme que « Llama et GenAI ont permis d’améliorer de près de 33% les réponses liées à la recherche pour les engagements de service client ». Et avec, une réduction des coûts et une accélération du temps de réponse.

Toujours au pays de l’oncle Sam, l’entreprise américaine spécialisée dans la livraison de nourriture DoorDash affirme profiter également de Llama. Ce sont ses ingénieurs logiciels qui en bénéficient afin de « rationaliser et accélérer les tâches quotidiennes […] comme l’exploitation de sa base de connaissances interne pour répondre à des questions complexes pour l’équipe et la fourniture d’examens de demandes d’extraction exploitables pour améliorer sa base de code ».

Le e-commerce et la finance ne sont pas en reste

Le roi des sites d’e-commerce Shopify expérimente quant à lui différents modèles open source de Meta, notamment LLaVA, qui repose sur les fondations de Llama. L’entreprise utilise des versions fine-tuned de LLaVA pour différentes tâches spécialisées et effectue actuellement 40 à 60 millions d’inférences Llava par jour. De son côté, l’institution financière japonaise Nomura utilise Llama sur AWS Bedrock pour des tâches allant du résumé de texte à la génération de code en passant par l’analyse de journaux et le traitement de documents.

350 millions de téléchargements comptabilisés à date

La maison mère de Facebook indique qu’à ce jour les modèles de Llama approchent les 350 millions de téléchargements sur Hugging Face, « soit plus de 10 fois plus qu’il y a un an ». Rien que sur le mois dernier, ces modèles ont été téléchargés plus de 20 millions de fois sur la plateforme. Pour accélérer l’adoption de ses modèles, la firme n’hésite d’ailleurs pas à passer par les services de ses partenaires, incluant AWS, Microsoft Azure, Databricks, Dell, Google Cloud, Groq, Nvidia, IBM watsonx, Scale AI, Snowflake et bien d’autres.

A en croire le géant des réseaux sociaux, « l’utilisation mensuelle de Llama a été multipliée par 10 entre janvier et juillet 2024 pour certains de nos plus grands fournisseurs de services cloud ». Et parmi les modèles disponibles, la préférence se porte sur la variante 405B. Toutefois, ce dernier n’occupe que la septième place dans le Chatbot Arena Leaderboard, derrière ChatGPT-4o, les versions expérimentales de Gemini 1.5, GPT-4o-mini ou encore Claude 3.5 Sonnet.

Source : usine-digitale.fr