Tencent a publié Hy4-preview, un nouveau modèle d’intelligence artificielle à poids ouverts conçu pour le code, la recherche et d’autres tâches professionnelles longues. Son chiffre le plus spectaculaire, 770 milliards de paramètres, ne raconte toutefois qu’une partie de son architecture : grâce à un système de mélange d’experts, environ 49 milliards de paramètres sont activés pour traiter chaque jeton. L’objectif est de combiner une grande capacité totale avec un coût de calcul plus contenu qu’un modèle dense de taille équivalente.
Les poids, le code associé et la fiche technique sont diffusés sous licence Apache 2.0 sur plusieurs plateformes, dont Hugging Face. La version reste explicitement qualifiée de preview. Tencent reconnaît notamment que Hy4 peut produire des raisonnements trop longs et vérifier excessivement ses réponses. Ces réserves sont importantes face à des résultats de tests pour l’instant largement fournis par l’entreprise elle-même.
Un modèle massif qui n’active qu’une fraction de ses experts
Hy4 compte 78 couches. La première utilise un bloc neuronal dense classique, tandis que les 77 suivantes reposent sur un mélange d’experts. Chacune comprend 256 experts spécialisés auxquels s’ajoute un expert partagé. Pour chaque jeton, un routeur sélectionne les huit experts jugés les plus utiles, en plus du bloc commun. Cette organisation évite de mobiliser les 770 milliards de paramètres à chaque calcul.
Il faut donc distinguer la capacité stockée de la charge réellement active. Le total de paramètres donne une idée de la diversité potentielle du système et de la taille des poids à héberger. Les 49 milliards activés déterminent davantage le volume d’opérations requis lors de l’inférence. Cette approche est devenue centrale dans les grands modèles chinois récents, dont DeepSeek V4. Elle n’efface pas les contraintes matérielles : héberger l’ensemble des experts reste hors de portée d’un ordinateur personnel ordinaire.
La fiche officielle de Hy4 décrit aussi un mécanisme de prédiction de plusieurs jetons, ou MTP, destiné à accélérer la génération spéculative. Une petite couche auxiliaire anticipe la suite, puis le modèle principal valide plusieurs éléments en une passe lorsque la prédiction est correcte. Tencent associe ce dispositif à une attention parcimonieuse et à un cache d’index pour limiter le coût d’un contexte pouvant atteindre un million de jetons.
Code, recherche et sécurité dans le même modèle
Tencent positionne Hy4 comme un outil polyvalent pour l’ingénierie logicielle, la recherche documentaire, la finance, la sécurité et le développement de jeux. Un contexte d’un million de jetons peut, en théorie, englober de vastes dépôts de code ou de longs dossiers. Cette limite ne garantit pas que le modèle exploite chaque détail avec la même précision : la qualité sur les informations éloignées doit encore être mesurée par des tests indépendants.
Pour son évaluation interne, Tencent a réuni 163 experts autour de 203 tâches d’ingénierie réelles. L’entreprise indique que Hy4 obtient une note moyenne de 2,99, contre 2,92 pour GLM-5.3 et 2,94 pour Kimi K3. Face à GLM-5.3, Hy4 aurait remporté 46,8 % des comparaisons, avec 12,8 % d’égalités. Face à Kimi K3, la part de victoires annoncée atteint 51,2 %, pour 7,9 % d’égalités. Ces chiffres sont utiles pour comprendre la cible du produit, mais ils ne remplacent pas une campagne d’évaluation indépendante, reproductible et conduite à paramètres comparables.
Le lancement alimente une compétition très rapide entre laboratoires chinois. KultureGeek a récemment suivi les accusations américaines visant Kimi K3, tandis que Meta a publié Muse Glimmer avec une ambition très différente, celle d’un modèle pouvant tenir sur un seul PC. Hy4 se place à l’autre extrémité : ouvert au téléchargement et à l’audit, mais conçu pour des infrastructures de serveurs importantes.
Ouvert ne veut pas dire immédiatement accessible
La licence Apache 2.0 permet une réutilisation commerciale relativement souple et facilite l’expérimentation par des équipes extérieures. Cette ouverture donne aussi la possibilité d’inspecter les poids, de spécialiser le modèle et de mesurer ses défauts sans dépendre exclusivement d’une API fermée. Au moment de l’annonce, aucune offre d’inférence hébergée n’était cependant activée directement sur sa page Hugging Face. Pour beaucoup de développeurs, l’accès pratique passera donc par un fournisseur de calcul ou par les futures intégrations de Tencent.
Le groupe prévoit justement d’intégrer Hy4 à CodeBuddy et WorkBuddy. Ce passage des poids publiés à un service utilisable sera décisif : la latence, le prix, les quotas et les politiques de conservation des données comptent autant que les scores bruts pour une entreprise. Le marché des modèles ouverts est par ailleurs en pleine consolidation, comme l’illustre le projet de rachat de Hugging Face par Nvidia.
Hy4 ne peut donc pas encore être proclamé nouveau champion sur la seule foi de ses évaluations internes. Il représente néanmoins une publication importante par sa taille, sa licence et son orientation vers des tâches concrètes. Les prochains tests devront déterminer si son routage d’experts tient ses promesses, si son très long contexte reste fiable et si les gains compensent la complexité d’hébergement. C’est précisément l’intérêt d’une diffusion ouverte : les affirmations de Tencent vont pouvoir être confrontées aux mesures de la communauté.
