DeepSeek open source DSpark : accélération de l'inférence LLM jusqu'à 85%

DeepSeek, le champion chinois de l'IA open source, a publié DSpark, un nouveau framework sous licence MIT conçu pour accélérer l'inférence des grands…

DSpark utilise le décodage spéculatif : un modèle léger propose plusieurs tokens probables, que le modèle principal vérifie en parallèle. Cela permet des gains de vitesse de 57% à 85% pour les utilisateurs…