Point de vue technique
Hugging Face adopte une position un peu différente des autres acteurs :
C’est à la fois un hub technologique et un acteur de R&D open-source.
La société franco-américaine ne commercialise pas un unique modèle propriétaire, mais facilite la création et le partage de nombreux modèles de fondation.
Néanmoins, Hugging Face a piloté plusieurs projets phares de LLM open-source comparables à GPT.
Le plus notable est le projet BigScience (2021-2022), une collaboration internationale coordonnée par Hugging Face, qui a abouti au modèle BLOOM.
BLOOM
BLOOM est un LLM de 176 milliards de paramètres, de type décodeur-only, entraîné durant 3,5 mois sur le supercalculateur Jean Zay en France.
C’est un modèle multilingue capable de générer du texte dans 46 langues naturelles et 13 langages de programmation. Source huggingface.co.
Celui-ci couvre ainsi un spectre linguistique bien plus large que GPT-3 (qui se concentrait sur l’anglais).
BLOOM a été développé dans une optique de démocratisation :
Son code et ses poids ont été publiés sous licence RAIL (Responsible AI License), permettant l’utilisation libre tout en imposant le respect de certaines conditions éthiques. Source huggingface.co.
Techniquement, BLOOM suit l’architecture standard Transformer à grande échelle et a été entraîné sur le corpus ROOTS (plusieurs centaines de sources de texte couvrant de nombreuses langues).
Hugging Face a apporté son expertise logicielle pour optimiser l’entraînement (bibliothèque Transformers, techniques de parallelisme, etc.), réussissant à entraîner un modèle de la taille de GPT-3 dans un cadre académique ouvert.
StartCoder
Outre BLOOM, Hugging Face a conduit en 2023 le projet BigCode qui a produit StarCoder, un modèle de code de ~15 milliards de paramètres.
StarCoder a été entraîné sur 1 billion (1e12) de tokens de code source en 80+ langages de programmation, en se focalisant sur du code sous licences permissives (GitHub public).
Il possède une fenêtre de contexte de 8 000 tokens – supérieure à celle des modèles open antérieurs – facilitant les complétions de code longues.
Hugging Face a introduit dans StarCoder des outils pour la sécurité et la traçabilité du code généré.
Par exemple :
- Un pipeline de filtrage des informations personnelles (PII) dans les données d’entraînement
- Et un outil d’attribution qui permet de retrouver la provenance des segments de code produits par le modèle.
Source huggingface.co.
Là encore, les poids du modèle ont été publiés sous une licence open (OpenRAIL v1.0 modifiée) autorisant un usage commercial plus simple.
Une infrastructure logicielle
En plus de co-développer ces modèles, Hugging Face fournit l’infrastructure logicielle qui est devenue la colonne vertébrale technique de l’écosystème LLM open-source :
- La bibliothèque Transformers (et diffusers pour les modèles de diffusion) est massivement utilisée pour implémenter les architectures GPT-like,
- Et le Hub HuggingFace héberge des milliers de modèles de fondation.
Cette plateforme permet à n’importe quel chercheur ou entreprise de partager un modèle (depuis GPT-2 jusqu’aux LLaMA 2 ou Mistral-7B) avec versionnage, cartes de résultats, et même déploiement instantané via l’API Inference Endpoint.
Une architecture maison
Ainsi, techniquement, Hugging Face se distingue moins par une architecture maison que par sa capacité à fédérer les développements et à outiller la communauté pour construire des modèles de fondation ouverts toujours plus avancés.
C’est grâce à cette approche collaborative que l’Europe a pu se doter de modèles comme BLOOM, véritable GPT-3 multilingue open-source, ou des code LLM comme StarCoder qui rivalisent avec les meilleurs modèles propriétaires de même taille.
Capacités
En termes de performances, les modèles co-développés par Hugging Face se placent honorablement face aux modèles propriétaires, surtout dans leurs domaines de prédilection.
BLOOM-176B, bien que légèrement en retrait de GPT-3 175B sur certains benchmarks anglophones, offre des performances compétitives sur un large éventail de tâches. Source huggingface.co.
Génération multilingue et capacité zero-shot
Son point fort réside dans la génération multilingue :
Par exemple, BLOOM peut continuer un texte en swahili ou en catalan avec une qualité qu’aucun GPT commercial n’offrait à l’époque de sa sortie (mi-2022).
Sur des benchmarks multilingues, il surpasse souvent GPT-3 car il a été explicitement entraîné sur ces langues rares.
Après un affinement instruction (modèle BLOOMZ), il a démontré des capacités de suivi de consignes et de zero-shot similaires à celles de GPT-3.5 sur des tâches variées.
StarCoder (15B), quant à lui, a atteint à sa sortie (mi-2023) le nouveau record en open-source sur HumanEval (benchmark de génération de code Python) avec un score de plus de 40 %. Source huggingface.cohuggingface.co.
Ce résultat le place au niveau du modèle OpenAI Codex (12B) qui alimentait GitHub Copilot, et nettement au-dessus des autres modèles libres de taille comparable (CodeGen-16B de Salesforce ou GPT-J-6B).
Ainsi, un développeur peut utiliser StarCoder pour auto-compléter du code, générer des fonctions ou expliquer un snippet, avec une qualité proche de celle des services propriétaires, le tout localement et gratuitement.
Quelle place pour l’Europe ?
Hugging Face héberge également des modèles open-source de très grande taille (70B+) comme LLaMA 2de Meta ou Falcon 180B (conçu par le UAE, mis à disposition via HF).
Ces modèles, une fois publiés, ont souvent été affinés par la communauté sur la plateforme HF (ex : LLaMA-2 a des variantes Chat entraînées par des contributeurs).
Sur l’Open LLM Leaderboard (classement maintenu par HF évaluant les modèles open sur divers tests), on constate que les top positions sont occupées par des modèles européens en partie soutenus par Hugging Face :
- Mistral-7B instruct,
- StableLM 2 12B,
- Falcon-180B
Tous figurent par exemple en bonne place début 2025. Source stability.aistability.ai.
Hugging Face a ainsi contribué à faire progresser l’état de l’art open :
Aujourd’hui un utilisateur peut télécharger un modèle open source dont la performance se situe entre GPT-3.5 et GPT-4 selon les tâches (ex : Falcon-180B rivalise avec GPT-3.5 sur beaucoup de tâches générales).
Évidemment, les modèles opensourcés accusent encore un retard sur GPT-4 ou Gemini Ultra au sommet, notamment en logique fine ou connaissance du monde, car ils ont moins de données d’entraînement ou d’itérations d’affinage.
Néanmoins, l’écart s’est réduit et les capacités atteintes sont suffisantes pour de nombreux usages pratiques, d’autant plus lorsqu’ils sont spécialisés (ainsi StarCoder excelle en code, BLOOMZ en langues non anglaises).
Enfin, Hugging Face a prouvé la faisabilité d’une IA massive collaborative via BigScience : avec BLOOM, une communauté de plus de 1000 chercheurs a pu entraîner un modèle de classe GPT-3 en open source, ce qui donne à l’Europe une expertise et une confiance pour lancer de futurs modèles de fondation via des projets similaires.
Stratégie d’Hugging Face
L’open source
La stratégie de Hugging Face se résume souvent à son slogan officieux : “le GitHub de l’IA”.
Plutôt que de vendre un modèle propriétaire, HF cherche à être la plateforme incontournable où se construisent et se diffusent les modèles de fondation.
L’entreprise mise sur l’open-source et la communauté comme moteur d’innovation, convaincue que “la prochaine grande IA sera issue de l’effort collectif” plus que du secret d’un laboratoire fermé.
Concrètement, Hugging Face investit dans des projets collaboratifs (BigScience pour les LLM, BigCode pour les modèles de code, etc.) en fournissant expertise, outils et parfois financement, tandis que les modèles résultants sont mis à disposition sous licences ouvertes.
Les partenariats d’Hugging Face
Cette stratégie est soutenue par des partenariats public-privé :
Par exemple, BigScience a reçu le soutien du gouvernement français (calcul sur Jean Zay) et de nombreuses universités ; BigCode a été co-organisé avec ServiceNow. Hugging Face lui-même, bien que basé aussi aux USA, est souvent mis en avant par les pouvoirs publics français comme un champion de l’IA ouverte en Europe.
Ce fut le cas, notamment lors du lancement en 2023 d’une initiative pour un chatbot souverain français, HF était pressenti comme acteur clé.
La solution freemium
En parallèle, HF a développé un écosystème de produits freemium autour de sa plateforme pour assurer sa viabilité économique tout en restant fidèle à l’open-source.
Par exemple,
- Inference API et Inference Endpoints permettent aux entreprises d’utiliser facilement les modèles open du Hub via une API payante (géré par HF).
- Hub Enterprise offre des fonctionnalités privées/collaboratives pour les clients business.
HF se positionne aussi comme intégrateur de modèles open sur les grands clouds :
Un partenariat avec Amazon AWS (investisseur dans HF) facilite le déploiement des modèles du Hub sur SageMaker ; Microsoft Azure propose également des endpoints HF prêts à l’emploi.
Hugging Face est omniprésent
Cette stratégie d’être présent partout assure que les modèles open-source soient une option facile pour les entreprises face aux offres fermées d’OpenAI ou Google.
Hugging Face a également su fédérer l’industrie :
Des géants comme Google, Amazon, Microsoft, Nvidia ont investi dans la startup (235 M$ levés en 2022-23), signe que même les acteurs établis voient en HF un centre neutre pour collaborer sur l’IA.
On le voit avec l’initiative Transformer Agents lancée mi-2023, où plusieurs entreprises se sont jointes à HF pour standardiser l’interfaçage des LLM avec des outils.
Enfin, HF accorde de l’importance à la responsabilité dans l’open-source :
- Elle promeut des licences comme RAIL,
- Encourage les créateurs de modèles à publier des model cards documentant les biais/limitations,
- Et participe aux discussions réglementaires (elle a par exemple plaidé pour un traitement équilibré des modèles open dans l’AI Act européen).
En résumé, la stratégie de Hugging Face est de construire l’infrastructure et la communauté permettant à l’Europe (et au monde) de développer et utiliser des modèles de fondation ouverts et innovants, en se finançant via des services aux entreprises.
Plutôt que de concurrencer frontalement OpenAI avec un « super-modèle » unique, HF agit en catalyseur pour que des projets multiples (comme ceux de Mistral, Stability, EleutherAI, etc.) réussissent, ce qui au final contribue à l’autonomie technologique européenne en IA.