Point de vue technique
Aleph Alpha, basée à Heidelberg, développe la famille de modèles Luminous avec l’ambition d’une IA souveraine pour l’Europe.
Techniquement, Luminous est un grand modèle de langage de type GPT (transformer auto-régressif) multi-tâche, décliné en plusieurs tailles allant d’une dizaine de milliards à plusieurs centaines de milliards de paramètres.
Luminous-Supreme et Luminous-World
La version phare Luminous-Supreme compte environ 70 milliards de paramètres, tandis que la prochaine itération Luminous-World vise les 300 milliards de paramètres, ce qui la placerait parmi les plus grands modèles au monde. Source aleph-alpha.com
Multimodale
Aleph Alpha a été précurseur en multimodalité :
Dès 2021, ses chercheurs ont permis de fournir des images en entrée de leurs modèles, ce qui en a fait les premiers GPT multimodaux capables d’accepter texte et image dans le prompt. Source en.wikipedia.org.
Cette innovation, publiée sous le nom MAGMA (EMNLP 2022), a été open-source, montrant l’avance d’Aleph Alpha dans l’intégration native de modalités visuelles.
En 2022, ils ont été plus loin en permettant à leurs modèles de générer des images en sortie à partir d’entrées multimodales – technique baptisée Multifusion (NeurIPS 2023).
L’architecture de Luminous
Sur le plan de l’architecture, Luminous utilise le même principe de pré-entraînement auto-supervisé que GPT, mais Aleph Alpha y a ajouté des mécanismes propriétaires pour améliorer la transparence et le contrôle.
Notamment, ils ont développé AtMan (Attention Manipulation), présenté à NeurIPS 2023, qui permet de rendre visibles et pilotables les motifs d’attention du modèle.
En pratique, AtMan est utilisé dans la fonction “Explain” de leur API pour mettre en évidence quelles portions d’un texte source ont influencé telle ou telle partie de la réponse générée. Source the-decoder.comthe-decoder.com.
Cela vise à résoudre le problème de la “boîte noire” des LLM en offrant une explicabilité intégrée – un atout crucial pour des usages en milieux régulés (droit, finance, santé, etc.).
Infrastructure de haut de gamme
Aleph Alpha s’appuie sur des infrastructures de calcul haut de gamme pour entraîner ses modèles :
Elle collabore notamment avec Hewlett Packard Enterprise (HPE), utilisant le HPE Machine Learning Development System pour l’apprentissage, et a mis en place le centre de données commercial le plus rapide d’Europe dédié à l’IA. Source en.wikipedia.orgthe-decoder.com.
Luminous multilingues et multimodales
Les modèles Luminous sont multilingues, maîtrisant au moins 5 langues (anglais, allemand, français, espagnol, arabe…) dès les premières versions.
La conception modulaire de ces fondations permet également de les adapter par fine-tuning à des domaines spécifiques ou d’y adosser des modules additionnels (par ex. une base de connaissances interne).
En résumé, du point de vue technique, Aleph Alpha propose des LLM de classe mondiale (70B+ paramètres) avec une avance sur la multimodalité et l’explicabilité, ce qui les rend uniques dans le paysage des modèles de fondation.
Capacités
L’alternative
Les modèles Luminous d’Aleph Alpha se positionnent comme des alternatives crédibles aux modèles américains majeurs.
Selon un rapport publié début 2023, Luminous (70B) se hisse au niveau des GPT-3 d’OpenAI sur de nombreuses tâches de compréhension et génération de texte, tout en n’ayant que la moitié de leur taille (70B vs ~175B).
Cela reflète une efficacité double en termes de paramètres nécessaires. Source aleph-alpha.com.
Ce résultat a été obtenu à travers une batterie de tests académiques variés (classification de texte, Q&A sur documents, inférence, etc.), où Luminous s’est montré « dans la même cour » que les meilleurs modèles mondiaux selon le CEO Jonas Andrulis.
Par exemple, Luminous excelle en analyse de documents techniques tout en fournissant des sources pour chaque affirmation.
Cette capacité est mise en œuvre dans l’assistant citoyen Lumi de la ville de Heidelberg, lequel répond aux questions des usagers sur la base des données administratives et cite ses sources pour chaque réponse.
Cela démontre une aptitude du modèle à fournir des réponses précises et traçables dans des applications réelles. Sur les benchmarks standardisés, la version Luminous Supreme affiche des scores comparables à GPT-3.5 (davinci) en génération de texte généraliste.
En revanche, il est reconnu que face aux modèles de toute dernière génération (ex: GPT-4, Claude 2), Luminous accuse encore un retard en 2024 sur certains benchmarks de reasoning et de connaissances du monde. Source ai-supremacy.com.
Aleph Alpha vise à combler cet écart avec Luminous-World (300B), qu’ils présentent comme un futur concurrent de GPT-4 :
Ce modèle de très grande taille est en phase de formation/évaluation et devrait offrir de nouvelles capacités pour les cas d’usage hautement complexes et critiques.
Les déclinaisons
Par ailleurs, Aleph Alpha a décliné Luminous en versions spécialisées.
Par exemple une version optimisée pour les requêtes longues avec contraintes (dite Control).
Lancée en février 2023, Luminous-Control permet de mieux maîtriser la génération et d’améliorer la conformité des réponses, ce qui a réduit les barrières à l’adoption en entreprise. Source the-decoder.comthe-decoder.com.
En intégrant la fonction “Explain” mentionnée plus haut, ces modèles offrent un degré de transparence inédit :
Ils peuvent indiquer quelles phrases du prompt ont conduit à telle partie de la réponse, ou quelles informations de la base de connaissances justifient la réponse.
Cette caractéristique, unique en son genre, facilite la vérification factuelle et la confiance dans les résultats – un point souvent souligné comme différenciateur d’Aleph Alpha.
En résumé, Luminous dispose de capacités avancées en compréhension de texte multilingue, s’illustre par une efficacité exceptionnelle (performant avec moins de paramètres), et propose des fonctionnalités d’explication et de suivi des sources qui le rendent particulièrement apte aux déploiements exigeant de la fiabilité.
Stratégie
Aleph Alpha oriente sa stratégie vers la fourniture de solutions IA souveraines pour les entreprises et gouvernements européens.
Contrairement aux approches grand public de certains concurrents, Aleph Alpha se concentre sur des déploiements maîtrisés, souvent on-premise ou cloud privé, afin de garantir la confidentialité des données.
La société met en avant la notion de “Trustworthy AI” (IA de confiance) :
Cela passe par l’explicabilité, la traçabilité et le respect des régulations (RGPD, future AI Act). Source the-decoder.com.
Par exemple, l’intégration native d’AtMan/Explain vise à répondre aux exigences d’auditabilité que l’UE pourrait imposer.
Aleph Alpha se positionne ainsi en partenaire technologique pour les secteurs sensibles (défense, santé, finance) cherchant une alternative aux solutions américaines.
Sur le plan commercial
L’entreprise adopte un modèle B2B (Business-to-Business) :
Elle propose l’accès à Luminous via son API cloud sécurisée, mais aussi des licences on-premise pour déployer les modèles dans les data centers des clients (assurant que les données ne sortent pas de leur environnement).
Elle a noué des partenariats stratégiques pour asseoir cette présence en entreprise :
Par exemple SAP (Allemagne) investit et collabore avec Aleph Alpha pour intégrer Luminous dans des solutions métier, et HPE offre Luminous sur sa plateforme GreenLake en tant que service IA pour ses clients hardware.
En parallèle, Aleph Alpha travaille étroitement avec la recherche publique locale (universités de Darmstadt, de Duisburg-Essen, centre DFKI) et contribue à des projets open-source comme EleutherAI.
Cela témoigne de sa volonté d’avancer de façon collaborative et transparente.
Côté financement
La société a bénéficié de soutiens publics (subventions de recherche fédérales) et a levé des fonds privés (ex : 23 M€ en 2021, puis une annonce médiatique de 500 M$ en 2023 qui inclut en réalité financements publics et engagements clients).
Ces fonds servent entre autres à construire une infrastructure indépendante européenne :
En 2024, Aleph Alpha a lancé avec ses partenaires un centre de calcul intensif en Allemagne présenté comme “le data center commercial d’IA le plus rapide d’Europe”.
Celui-ci vise à réduire la dépendance aux clouds US pour l’entraînement et l’inférence de Luminous.
Enfin, la stratégie produit s’étoffe :
En 2023-2024, Aleph Alpha a annoncé Pharia, une suite d’IA assistants spécialisés par secteur (ex : Pharia-1 pour automobile/ingénierie), construits sur la base Luminous afin d’offrir des modèles affinés aux besoins de certaines industries.
Source usine-digitale.fr.
En somme, la stratégie d’Aleph Alpha est de fournir aux acteurs européens une IA de pointe “made in Europe”, souveraine et explicable, via un modèle économique tourné vers les applications professionnelles et un écosystème de partenaires industriels et académiques.