DeepSeek Rilis DSpark: Percepat Inferensi LLM Hingga 85%

DeepSeek, perusahaan kecerdasan buatan asal Tiongkok, telah merilis kerangka kerja open-source baru bernama DSpark yang secara signifikan meningkatkan kecepatan inferensi model bahasa besar (LLM). Sistem ini menggunakan decoding spekulatif, di mana model yang lebih kecil memprediksi beberapa token, yang kemudian diperiksa secara paralel oleh model utama. Ini mempercepat pembuatan teks tanpa mengubah keluaran model.

DSpark dirilis di bawah lisensi MIT dan tersedia di GitHub dan Hugging Face. Ini dirancang untuk memecahkan salah satu masalah paling mahal dalam penerapan AI: menyajikan model besar dengan cepat untuk aplikasi real-time. Teknologi ini meningkatkan efisiensi penggunaan perangkat keras dan menurunkan biaya operasional.

Dalam pengujian dengan DeepSeek-V4-Flash dan DeepSeek-V4-Pro, DSpark mencapai peningkatan kecepatan yang luar biasa. Pengguna mengalami pembuatan token 60 hingga 85 persen lebih cepat untuk V4-Flash dan 57 hingga 78 persen untuk V4-Pro. Peningkatan throughput agregat masing-masing sebesar 51 dan 52 persen.

Decoding spekulatif tidak terbatas pada model DeepSeek sendiri. Kerangka kerja ini juga dapat diterapkan pada model terbuka lainnya seperti Qwen dari Alibaba dan Gemma dari Google. Perusahaan yang menjalankan model open-weight dapat melatih atau menyetel modul bergaya DSpark untuk model target mereka.

DeepSeek juga telah menerbitkan makalah teknis, checkpoint model, dan basis kode DeepSpec. Ini memungkinkan pengembang dan peneliti untuk mempelajari dan mengadaptasi metode ini. Rilis ini menegaskan komitmen DeepSeek terhadap pengembangan AI terbuka di tengah ketegangan geopolitik.