DeepSeek veröffentlicht DSpark: LLM-Inferenz bis zu 85% schneller

DeepSeek, ein chinesisches Unternehmen für künstliche Intelligenz, hat ein neues Open-Source-Framework namens DSpark veröffentlicht, das die Inferenzgeschwindigkeit großer Sprachmodelle (LLMs) erheblich steigert. Das System verwendet spekulative Dekodierung, bei der ein kleineres Modell mehrere Token vorhersagt, die dann vom Hauptmodell parallel überprüft werden. Dies beschleunigt die Textgenerierung, ohne die Ausgabe des Modells zu verändern.

DSpark ist unter der MIT-Lizenz veröffentlicht und steht auf GitHub und Hugging Face zur Verfügung. Es wurde entwickelt, um eines der teuersten Probleme beim Einsatz von KI zu lösen: die schnelle Bereitstellung großer Modelle für Echtzeitanwendungen. Die Technologie verbessert die Effizienz der Hardwarenutzung und senkt die Betriebskosten.

In Tests mit DeepSeek-V4-Flash und DeepSeek-V4-Pro erzielte DSpark bemerkenswerte Geschwindigkeitssteigerungen. Die Benutzer erlebten eine um 60 bis 85 Prozent schnellere Token-Generierung bei V4-Flash und 57 bis 78 Prozent bei V4-Pro. Die aggregierte Durchsatzsteigerung lag bei 51 bzw. 52 Prozent.

Die spekulative Dekodierung ist nicht auf DeepSeeks eigene Modelle beschränkt. Das Framework kann auch auf andere offene Modelle wie Qwen von Alibaba und Gemma von Google angewendet werden. Unternehmen, die Open-Weight-Modelle betreiben, können DSpark-artige Module für ihre eigenen Modelle trainieren oder optimieren.

DeepSeek hat auch technische Papiere, Modell-Checkpoints und den Codebase DeepSpec veröffentlicht. Dies ermöglicht Entwicklern und Forschern, die Methode zu studieren und anzupassen. Die Veröffentlichung unterstreicht DeepSeeks Engagement für offene KI-Entwicklung trotz geopolitischer Spannungen.