La genèse de Hunyuan3D 2.0 avec Turbo S
Tencent, géant des réseaux sociaux (WeChat, QQ) et du divertissement, a été plus discret initialement.
Cependant, il a finalement présenté en septembre 2023 son grand modèle de langage Hunyuan lors d’une conférence à Shenzhen. Source : reuters.com.
Contrairement à Baidu et Alibaba qui ont des écosystèmes de services grand public pour tester leurs IA (moteur de recherche, e-commerce), Tencent a orienté Hunyuan vers une disponibilité B2B :
« Ouvert aux entreprises pour usage commercial » dès son lancement.
Hunyuan est devenu le moteur IA derrière plus de 50 produits et services Tencent avant même son dévoilement officiel. Source : reuters.com.
Cela inclut sans doute des intégrations dans WeChat. Par exemple :
- Fonctions de résumé dans WeChat,
- Ou modération de contenu,
- Dans les jeux vidéo (PNJ plus intelligents)
- Ou dans les outils cloud de Tencent.
Spécifications
Le modèle Hunyuan est un LLM multilingue de plus de 100 milliards de paramètres, entraîné sur plus de 2 000 milliards de tokens. Source : reuters.com.
Ces chiffres, communiqués par Tencent, le placent dans la même catégorie que GPT-3.5 (175B, 2020) en taille, mais avec un dataset bien plus grand (2 T tokens, soit comparable à GPT-4).
Hunyuan maîtrise le chinois et l’anglais, et a été conçu pour exceller notamment en génération de textes longs cohérents et en résolution de problèmes mathématiques. Source : reuters.com.
Tencent affirme en effet que son modèle est « meilleur que ChatGPT » (sous-entendu GPT-3.5) pour la rédaction de textes longs (plusieurs milliers de mots) et certaines questions mathématiques. Source : reuters.com.
De plus, Hunyuan aurait 30% d’hallucinations en moins que LLaMA 2 de Meta. Source : reuters.com
C’est le signe d’un entraînement affiné sur la factualité.
Ces affirmations, quoique à prendre avec prudence, suggèrent que Hunyuan 1.0 se situe entre GPT-3.5 et GPT-4 en qualité globale.
C’est un accomplissement pour une première version chinoise.
Son architecture précise n’est pas détaillée publiquement, mais il s’agit vraisemblablement d’un transformeur dense standard (pas de MoE mentionné), optimisé pour le hardware GPU dont dispose Tencent.
De plus, il est bilingue, ce qui correspond aux besoins de Tencent qui opère à l’international (jeux vidéo, etc.) tout en servant la population chinoise.
Intégration et usages
Tencent a immédiatement intégré Hunyuan dans ses offres.
D’une part, il a créé une plateforme Cloud nommée Tencent Cloud TI Platform où Hunyuan est accessible en API pour les clients professionnels (parallèlement aux offres d’autres modèles open source).
D’autre part, WeChat – l’omni-application utilisée par plus d’un milliard de Chinois – a pu tirer parti d’Hunyuan :
Par exemple via des mini-programmes ou le service de chatbot d’entreprise WeChat Customer Service amélioré par l’IA.
Tencent n’a pas (à notre connaissance) lancé de chatbot grand public façon ChatGPT, sans doute en raison de la sensibilité de modération sur WeChat.
Néanmoins, Hunyuan peut agir en coulisse pour vérifier des messages, pour suggérer des réponses intelligentes, etc.
Une plateforme unificatrice ?
Tencent vise aussi avec Hunyuan des applications sectorielles :
Lors de la présentation, la démo montrait Hunyuan rédigeant un plan de marketing pour un produit, signe d’une orientation vers l’assistance professionnelle. Source : reuters.com.
Tencent mentionne d’ailleurs explicitement vouloir devenir le champion IA pour l’industrie en Chine – mettant en avant que plus de 130 modèles de langage existant en Chine mi-2023 et que la “guerre des cent modèles” avait commencé.
Dans ce contexte, Hunyuan se veut une plateforme unificatrice au service des développeurs tiers.
Plus fermé que des concurrents
L’approche semble plus fermée que celle d’Alibaba :
Tencent n’a pas open-sourcé Hunyuan (hormis peut-être un plus petit modèle Hunyuan-52B MoE mis sur HuggingFace) et privilégie l’offre propriétaire via son cloud. Source : huggingface.co.
Cependant, Tencent s’appuie sur son atout unique : WeChat.
Celui-ci constitue un canal de distribution potentiellement énorme pour des services IA (par exemple des plugins ou des comptes officiels propulsés par Hunyuan).
Performances mesurées
Peu de benchmarks indépendants de Hunyuan ont été publiés.
Tencent a déclaré que sur des tests internes, Hunyuan surpassait GPT-3.5 et se montrait très solide en chinois.
On sait que plusieurs modèles chinois (dont probablement Hunyuan) ont obtenu de bons scores sur :
- Le benchmark C-Eval (évaluation sur des examens chinois universitaires)
- Ou sur le MMLU-chinois, signifiant qu’ils commencent à combler l’écart avec GPT-4 dans leur langue.
Hunyuan n’a pas la notoriété de ChatGPT en Occident, mais en Chine, de grandes entreprises ont commencé à l’utiliser fin 2023.
Par exemple, Douyin (TikTok Chine) et Tencent Meeting (visioconférence) ont pu recourir aux APIs Hunyuan pour des fonctionnalités d’IA (doublage automatique, prise de notes).
Stratégie
Tencent adopte une posture plus prudente et B2B par rapport à Baidu/Alibaba.
Son message est qu’avec Hunyuan, les entreprises peuvent bénéficier :
- D’une IA de haute qualité hébergée en Chine,
- Conforme aux régulations locales,
- Et intégrée à l’écosystème WeChat/Tencent.
La monétisation
Tencent cherche à monétiser via le cloud (comme les autres) mais aussi via la synergie avec ses produits existants :
Offrir Hunyuan comme un service transverse améliorant tous ses services (jeux, réseaux sociaux, fintech).
Par exemple, on peut imaginer Hunyuan aider les développeurs de jeux Tencent à générer des quêtes ou des dialogues dynamiques, ou encore être utilisé dans la plateforme de création de contenus de Tencent.
L’entreprise a par ailleurs communiqué sur un aspect intéressant : “une guerre des 100 modèles” en Chine. Source : reuters.com.
Ce constat, dressé par un VP de Tencent, signifie que Tencent mise sur son envergure pour faire partie des survivants lorsque le marché se consolidera.
En effet, beaucoup de startups IA chinoises (MiniMax, Baichuan, Zhipu…) proposent des modèles, mais toutes n’ont pas les moyens d’entraîner du 100B param indéfiniment.
S’imposer en tant que standard
Tencent, avec Hunyuan, compte s’imposer parmi les quelques plateformes standards (avec Baidu et Alibaba) quand les autres auront disparu ou se seront spécialisées.
En investissant lourdement (on évoque 250 M$ pour Anthropic, etc. côté US ; Tencent investit sans doute des montants comparables en interne), la firme veut sécuriser son futur dans l’ère de l’IA générative.
Hunyuan est donc autant un produit immédiat (pour attirer des clients cloud et maintenir l’attrait de WeChat face à des apps concurrentes qui pourraient intégrer ChatGPT via VPN) qu’un pari stratégique sur l’autonomie de Tencent :
Posséder son propre cerveau IA pour ne pas dépendre de solutions tierces.
D’ailleurs, début 2023, il y avait des rumeurs d’un partenariat Tencent-OpenAI, mais avec le lancement de Hunyuan, Tencent a prouvé qu’il pouvait développer sa solution maison approuvée par Pékin.