DeepSeek, le champion chinois de l'IA open source, a publié DSpark, un nouveau framework sous licence MIT conçu pour accélérer l'inférence des grands modèles de langage (LLM) sans altérer leurs réponses. DSpark utilise le décodage spéculatif : un modèle léger propose plusieurs tokens probables, que le modèle principal vérifie en parallèle. Cela permet des gains de vitesse de 57% à 85% pour les utilisateurs individuels sur les modèles DeepSeek-V4-Flash et DeepSeek-V4-Pro.
Le framework est accompagné d'un article technique, de points de contrôle de modèles et de DeepSpec, une base de code pour l'entraînement et l'évaluation des systèmes de décodage spéculatif. Disponible sur GitHub et Hugging Face sous licence MIT, DSpark est accessible aux développeurs, chercheurs et entreprises qui souhaitent l'adapter à leurs propres modèles, y compris Qwen d'Alibaba et Gemma de Google.
Le décodage spéculatif résout un goulot d'étranglement majeur des LLM : la génération séquentielle de tokens. Au lieu de produire chaque token un par un, DSpark utilise un assistant (draft model) qui prédit plusieurs tokens à la fois. Le modèle principal valide ces prédictions en une seule étape, accélérant considérablement le processus, surtout sous forte charge.
DeepSeek a testé DSpark sur ses modèles phares : DeepSeek-V4-Flash (284 milliards de paramètres, 13 milliards actifs) et DeepSeek-V4-Pro (1,6 billion de paramètres, 49 milliards actifs). Les résultats montrent une amélioration du débit agrégé de 51% à 52% à des cibles de service spécifiques, et des accélérations par utilisateur de 60% à 85% pour V4-Flash et 57% à 78% pour V4-Pro.
L'impact de DSpark dépasse DeepSeek. En open source et compatible avec d'autres modèles, il pourrait réduire les coûts de déploiement des LLM et accélérer l'adoption de l'IA dans des applications réelles comme les chatbots, les assistants de codage et les systèmes d'entreprise. C'est une avancée significative pour rendre l'IA plus rapide et plus économique.
Poser une question
Réponses générées par IA, à partir de cette actualité uniquement.
Ceci est un court résumé généré par l'IA. L'article complet est à la source.
Lire l'article complet à la sourceventurebeat.com