Stability AI (Royaume-Uni)
stableLM 2 12B : Le point de vue technique
Stability AI s’est fait connaître en 2022 grâce à Stable Diffusion, le modèle de génération d’images qui a ouvert l’ère de l’open-source en IA générative visuelle.
Fort de cette expertise, Stability s’attaque aux modèles de langage avec la même philosophie d’ouverture. Leur principal effort porte sur la série StableLM (Large Language Models “Stables”).
La première génération
Lancée en avril 2023, comprenait des modèles de 3 et 7 milliards de paramètres entraînés sur The Pile (un large corpus de textes web) et d’autres sources publiques. Source sapling.ai.
Bien que performants pour leur taille, ces modèles initiaux restaient en deçà de LLaMA 2.
Stability a donc lancé en 2024 StableLM 2, une nouvelle mouture beaucoup plus aboutie.
StableLM 2 1.6B
En janvier 2024, ils ont dévoilé StableLM 2 1.6B, un modèle de seulement 1,6 milliard de paramètres, mais entraîné sur un volume énorme de données (2 000 milliards de tokens en sept langues). Source stability.ai.
Grâce à cet entraînement massif, ce modèle “XS” parvient à égaler voire dépasser des modèles 4 à 8 fois plus gros sur des tâches de compréhension multilingue.
Techniquement, Stability a cherché à maximiser l’efficacité paramétrique (beaucoup de données, architecture optimisée) pour démocratiser l’IA sur des petits appareils.
Ils utilisent notamment des astuces comme les rotary embeddings modulables qui leur ont permis d’étendre la context window de leurs modèles jusqu’à 100 000 tokens sans réentraînement lourd.
Concrètement, StableLM 2 a un contexte natif de 16k tokens, et en ajustant la base rotative au-delà, ils montrent qu’il peut traiter jusqu’à 100k tokens (via interpolation).
Une prouesse pour un modèle open-source.
Stability a aussi intégré la prise en charge native du Fill-In-the-Middle (FIM) dans ses modèles, utile pour les tâches de complétion de code ou de texte à trous. Source stability.ai.
StableLM 2 12B
En avril 2024, Stability a étendu la gamme avec StableLM 2 12B, un modèle 12 milliards de paramètres, décliné en version base et instruction-tuned.
Celui-ci est entraîné en multilingue (7 langues européennes) sur 2 000 Md de tokens, suivant le cadre du 1.6B mais à plus grande échelle.
L’objectif est d’offrir un modèle open et transparent de taille moyenne, équilibrant performance et coût, pour servir de brique IA aux développeurs.
Stability a prévu de publier également une variante longue-contexte de ces modèles 12B (contexte étendu à venir sur HuggingFace). Source stability.ai.
Outre les modèles textuels, Stability continue d’innover sur d’autres modalités :
Stable audio
Stable Audio pour la génération son, Stable Video Diffusion pour la vidéo, etc., et a annoncé StableCode, un modèle spécialisé dans le code.
StableCode 3B
StableCode 3B (janv. 2024) est un modèle de 3 milliards de paramètres dédié au codage, obtenu en affinant un LM 3B sur 4 billions de tokens de texte général puis sur des données de code (dépôts Git, issues, notebooks). Source stability.aistability.ai.
Sa particularité est de pouvoir tourner en local sur CPU (il a été optimisé pour fonctionner sur un simple MacBook Air sans GPU), tout en offrant des performances comparables à des modèles bien plus gros (il égale CodeLLaMA 7B en complétion de code tout en étant 60 % plus petit). Source stability.ai.
Il supporte aussi le FlashAttention 2 qui accélère l’inférence.
Enfin, Stability accompagne ses releases d’une documentation et d’une transparence complètes (ils publient des model cards détaillant données, biais potentiels, etc., et prévoient des rapports techniques pour la recherche). Source stability.ai.
En somme, la stratégie technique de Stability AI est de produire des modèles ouverts hautement optimisés (petits mais costauds), exploitant au maximum l’entraînement massif et les astuces d’architecture pour rendre l’IA accessible sur toutes les plateformes – dans la continuité de ce qu’ils ont fait avec Stable Diffusion en imagerie.
Capacités
Malgré des moyens moindres que les géants, Stability AI parvient à atteindre d’excellentes performances dans sa gamme de modèles.
Le petit StableLM 2 1.6B a ainsi pris la tête du leaderboard dans sa catégorie de taille sur des benchmarks traduits de compréhension (ARC, MMLU, HellaSwag… en versions multilingues), dépassant avec marge d’autres LLM de 1–2 Md. Source stability.aistability.ai.
Par exemple, sur l’ensemble ARC Challenge traduit, il obtient une accuracy bien supérieure aux modèles de même ordre de grandeur.
Cela démontre l’efficacité de son entraînement multilingue. Source stability.ai.
Toutefois, en valeurs absolues, cela reste en dessous des grands modèles :
Stability avertit d’ailleurs que ces petits modèles conservent des limites (hallucinations fréquentes, etc.) inhérentes à leur faible capacité.
Le modèle StableLM 2 12B
Il offre quant à lui des performances solides proches des meilleurs 13-14B du marché. Source stability.ai.
Lors de sa sortie (avril 2024), Stability le compare à :
- LLaMA 2 13B,
- Qwen 14B (Tencent)
- ou Mistral 7B instruct
StableLM 2 12B se hisse parmi les meilleurs, rivalisant par exemple avec Qwen 14B sur des tests zero-shot/few-shot variés. Source stability.ai.
Sur le benchmark MT-Bench (évaluant la qualité des réponses sur des questions complexes), StableLM 2 12B-chat atteint un score de 8,15 (sur 10).
Ce résultat le place très près du modèle instruct 13B Mixture-of-Experts de Mistral (8,48) et au-dessus de LLaMA 2 70B (7,29).
Cela signifie qu’en conversation instructive, ce modèle open de 12B commence à approcher la qualité de certains modèles fermés bien plus grands.
StableCode 3B
En code, StableCode 3B a démontré qu’il pouvait tenir tête à des modèles doublant sa taille :
Il affiche un niveau similaire à CodeLLaMA 7B sur des tâches de complétion multi-langages (benchmark MultiPL-E) tout en étant exécutable en temps réel sur CPU. Source stability.ai.
Des graphiques radars publiés par Stability montrent StableCode surpassant les autres modèles ≤3B (Replit 3B, WizardCoder 3B, etc.) dans la plupart des langages de programmation testés.
En pratique, cela signifie qu’un développeur peut utiliser StableCode localement pour de l’auto-complétion de code dans 18 langages (selon Stability) avec une qualité approchante celle d’un Copilot basique, et sans dépendre d’un service cloud.
L’optimisation “compute vs performance”
Il est important de noter que Stability excelle dans l’optimisation “compute vs performance” :
Leurs modèles obtiennent de très bons scores relatifs par paramètre.
Par exemple, stableLM 1.6B était classé parmi des modèles ~10× plus grands sur MT-Bench en fournissant des réponses presque du même niveau. Source stability.ai.
Bien sûr, en comparaison des très grands modèles comme GPT-4 ou Gemini, les modèles Stability restent moins performants sur des tâches complexes de raisonnement ou de compréhension fine.
Néanmoins, la rapidité de progression est élevée : en l’espace d’un an, Stability est passé d’un LLM 7B assez moyen à des LLM 12B qui talonnent la génération précédente (GPT-3.5, LLaMA 2 70B) sur bon nombre de tâches courantes. Source stability.ai.
Et tout comme Stable Diffusion avait en imagerie atteint 70-80 % de la qualité de DALL-E 2 pour 0 €, les StableLM tendent vers une IA “suffisante” à coût nul :
Assez bonne pour la plupart des usages, disponible localement.
À l’avenir, on peut s’attendre à ce que Stability continue d’améliorer le taux performance/poids, possiblement avec des modèles ~30B ou en explorant des approches MoE.
En somme, les capacités actuelles des modèles Stability montrent qu’une IA open-source efficace et légère est possible :
On peut faire tourner un chatbot multilingue sur PC avec des réponses de qualité correcte, ou un assistant code sur un laptop, sans trop sacrifier sur la pertinence.
Stratégie
Stability AI s’est donné pour mission de “démocratiser l’IA”.
Un credo qui guide sa stratégie à la fois produit et business.
Contrairement aux entreprises qui protègent jalousement leurs modèles, Stability publie systématiquement ses modèles (diffusion ou LLM) en open-source ou sous licences très permissives.
Les modèles libres
La stratégie est de bâtir une large communauté d’utilisateurs et de développeurs autour de ses modèles libres, créant un écosystème riche (extensions, fine-tunings, intégrations).
Par exemple, Stable Diffusion a été intégré en quelques mois dans des centaines d’applications, en grande partie grâce au fait que Stability en a ouvert les poids à tous.
On retrouve cette approche avec StableLM :
Le modèle 7B initial a été lancé sous licence Apache 2.0, permettant même un usage commercial illimité. Source arxiv.org.
Le système de membership
Pour StableLM 2, Stability a introduit un système de membership :
Les modèles sont gratuits y compris commercialement, mais pour un support et des modèles “premium” (fine-tunés spécifiques, versions optimisées), les entreprises sont invitées à souscrire à une offre payante. Source stability.ai.
Cette approche rappelle l’open-source “Red Hat” :
Le cœur technologique ouvert, et des services premium en option.
En pratique, Stability AI Membership propose plusieurs niveaux (individuel gratuit, professionnel, entreprise) donnant accès par exemple à des API hébergées haute performance, des versions optimisées comme SDXL Turbo (pour Stable Diffusion) ou un support dédié. Source stability.aistability.ai.
Ainsi, Stability monétise en fournissant de la valeur ajoutée autour de ses modèles open plutôt qu’en vendant le modèle lui-même.
Par ailleurs, Stability mise beaucoup sur la communauté de développeurs open-source.
Communauté de développeurs
Elle sponsorise des projets (CarperAI, EleutherAI…), organise des concours, et publie rapidement le code source de ses innovations (comme le filtre de sécurité SafeStable pour Stable Diffusion).
Cette relation symbiotique fait que la communauté améliore les modèles (ex : les utilisateurs ont affiné Stable Diffusion en variantes comme Waifu Diffusion, etc.).
Ce qui au final profite à Stability en rendant ses modèles incontournables.
Distribution large
En termes de marché, Stability vise aussi bien les utilisateurs individuels (artistes utilisant Stable Diffusion, codeurs utilisant StableLM en local) que les entreprises souhaitant intégrer de l’IA à moindre coût.
Elle a par exemple conclu un partenariat pour proposer Stable Diffusion dans la suite Adobe Photoshop (via l’option Remplissage génératif), montrant qu’elle n’est pas hostile à travailler avec des acteurs commerciaux traditionnels tout en gardant son modèle ouvert.
Pour les LLM, Stability s’est associée à Amazon :
StableLM et Stable Diffusion sont disponibles via Amazon Bedrock, la plateforme d’IA d’AWS, ce qui les place aux côtés des modèles fermés d’AI21, Anthropic, etc., et offre aux clients cloud une option open-source plug-and-play.
Cette stratégie de distribution large assure la présence de Stability sur tous les canaux (open-source pur, services cloud tiers, intégrations logicielles).
L’open-source
Enfin, Stability AI continu de capitaliser sur son image de champion de l’open source aux préoccupations éthiques :
En effet, en se positionnant pour une IA accessible et transparente, l’entreprise répond aux gouvernements qui craignent l’hégémonie de quelques acteurs fermés.
Le fondateur Emad Mostaque a d’ailleurs été auditionné par des instances gouvernementales sur l’IA responsable.
En interne, Stability a récemment renforcé son équipe de Safety & Integrity (embauche d’une SVP Integrity fin 2024) pour montrer son sérieux sur le déploiement sûr de ses outils. Source stability.ai.
En conclusion, la stratégie de Stability AI est de populariser les modèles de fondation open-source en prouvant qu’ils peuvent rivaliser avec les modèles fermés, et d’en tirer parti commercialement via des services premium et des partenariats industriels.
Cette approche lui a permis de construire en deux ans un écosystème très influent (Stable Diffusion est devenu un standard de fait), faisant de Stability un acteur clé de l’IA en Europe et dans le monde, misant sur l’ouverture comme avantage concurrentiel face aux géants.