Point de vue technique
Mistral AI se spécialise dans les grands modèles de langage ouverts. Leurs architectures sont de type Transformer optimisées pour l’efficacité :
Mistral 7B et innovations
Ainsi, Mistral 7B (7,3 milliards de paramètres) intègre des innovations comme le Grouped-Query Attention (GQA) pour accélérer l’inférence, couplé au Sliding Window Attention (SWA) permettant de gérer des séquences arbitrairement longues à moindre coût. Source arxiv.org.
Ces choix architecturaux lui ont permis de surpasser des modèles bien plus volumineux dès sa sortie en 2023 (par ex. Mistral 7B dépasse LLaMA 2 de 13B sur tous les benchmarks évalués).
Mistral Large v2
En 2024, Mistral a étendu son catalogue avec des modèles de taille frontière.
Notamment, Mistral Large v2 compte environ 124 milliards de paramètres (123 B pour le décodeur texte + 1 B pour un encodeur visuel dans sa version multimodale).
Ces nouveaux modèles offrent une fenêtre de contexte étendue à 128 000 tokens (≈100 ko de texte) grâce à l’attention glissante, ce qui les rend aptes à traiter de longs documents ou des multiples images en entrée.
Multimodal
Mistral a également introduit la multimodalité : le modèle Pixtral Large (nov. 2024) peut comprendre à la fois du texte et des images haute résolution, en combinant un décodeur texte de 123 B avec un encodeur visuel dédié.
Tous les poids de modèles sont ouverts (open source), la Licorne Française adoptant toutefois une double licence :
- Une licence recherche libre pour usage non commercial,
- et une licence commerciale pour les clients souhaitant déployer ces modèles en production.
Cette approche assure une diffusion large tout en protégeant l’entreprise.
En résumé, techniquement Mistral mise sur des modèles optimisés (7B efficace comme un 13B), évolutifs (jusqu’à 124B) et polyvalents (long contexte, multimodalité), le tout open source avec un effort particulier sur la performance et l’extensibilité. Source arxiv.org
Capacités
Les modèles de Mistral ont démontré des performances de pointe sur de nombreux benchmarks, rivalisant avec les meilleurs modèles américains.
Mistral 7B
Par exemple, Mistral 7B a été lancé en surpassant LLaMA 2 13B (OpenAI/Meta) sur tous les tests publics évalués, et même LLaMA 1 34B dans des domaines comme le raisonnement, les mathématiques et le code – un exploit notable pour un modèle ~5 fois plus petit. Source arxiv.org
Mistral Large V2
En novembre 2024, Mistral Large v2 et sa variante multimodale Pixtral Large atteignent un niveau « frontière » :
Pixtral Large se classe n°1 des modèles à poids ouverts sur le leaderboard vision de LMSys, devançant le compétiteur suivant de près de 50 points Elo.
Mistral Pixtral
Sur des tâches complexes de vision et langage, Pixtral obtient des scores record :
Le raisonnement mathématique
Par ex. 69,4 % sur MathVista (raisonnement mathématique sur données visuelles) – le plus haut jamais mesuré, dépassant tous les autres modèles testés.
Analyse de documents
Sur DocVQA et ChartQA (questions nécessitant d’analyser des documents ou graphiques), le modèle surpasse GPT-4 et même la version Gemini 1.5 Pro de Google.
Mistral Large et la compréhension textuelle
De plus, Mistral Large maintient d’excellentes performances en compréhension purement textuelle.
Il se classe en tête des modèles open-source sur des ensembles d’évaluation holistiques (par ex. il est très performant sur MMLU, HellaSwag, etc., d’après les tests internes).
Mistral Codestral pour la programmation
En programmation, ils proposent Codestral, un modèle spécialisé code (lancé v2 en janvier 2025) optimisé pour les tâches type fill-in-the-middle et génération de tests, avec une latence réduite.
Grâce à un contexte allant jusqu’à 256k tokens, Codestral peut ingérer de larges bases de code ou multiples fichiers dans une même requête.
Enfin, ces modèles supportent les dernières avancées en usage pratique :
Mistral Large v2 améliore la gestion des consignes système :
- Le function calling (appel structuré de fonctions)
- et excelle en RAG (génération augmentée par recherche),
Ce qui le rend très apte à interagir avec des bases de connaissances ou des outils externes.
En somme, Mistral montre qu’un acteur européen peut atteindre le niveau des meilleurs LLM mondiaux, que ce soit en logique, code ou analyse d’images, tout en rendant ces capacités librement accessibles (poids disponibles sous licence ouverte).
La stratégie
Dès sa création en 2023, Mistral AI a adopté une stratégie centrée sur l’ouverture et la souveraineté européenne en IA.
La start-up a frappé fort avec une levée de fonds record de 105 M€ en seed – la plus importante jamais vue en Europe – afin de “démocratiser” les modèles de langage type ChatGPT. Source thenextweb.com.
Fidèle à cette mission, Mistral a publié son premier modèle (7B) sous licence Apache 2.0 entièrement ouverte, s’écartant ainsi du modèle fermé d’OpenAI.
Mistral Research License
Pour les itérations plus récentes et coûteuses (jusqu’à 124B de paramètres), l’entreprise a mis en place une Mistral Research License qui permet un usage libre pour la recherche tout en réservant les usages commerciaux à un cadre contrôlé.
Ce compromis vise à concilier ouverture et viabilité commerciale – un enjeu crucial pour les start-ups open source. La Licorne parisienne cible prioritairement les marchés entreprises et industriels, plutôt que le grand public.
Pour le professionnel
Ses modèles sont pensés pour être intégrés dans des solutions métier :
- assistance à la recherche R&D,
- support client augmenté,
- analyse documentaire,
- etc.
La société met en avant la maîtrise des données (elle n’utilise que des données publiques pour l’entraînement afin d’éviter les écueils juridiques liés aux copyrights), ce qui séduit les clients soucieux de conformité. Source thenextweb.com
Distribution
En termes de distribution, Mistral s’associe aux grands acteurs du cloud :
Ses modèles sont disponibles via une API propre (la Plateforme) et sont déployables sur les clouds de Google et Microsoft afin de toucher un large public entreprise.
Mistral en open source
Parallèlement, l’interface conversationnelle Le Chat permet de tester le modèle facilement en ligne.
Enfin, Mistral s’inscrit dans l’écosystème open source :
Ses poids de modèles sont hébergés sur Hugging Face, et la communauté est encouragée à contribuer (recettes de prompting, fine-tuning, rapports d’évaluation) pour améliorer continuellement les modèles.
En résumé, la stratégie de Mistral est de construire une alternative européenne à OpenAI en misant sur l’open-source et la transparence, tout en adressant les besoins spécifiques des entreprises via des partenariats stratégiques et une politique d’accès souple (libre en R&D, Mistral payant en production).