DeepSeek открывает DSpark: ускорение вывода LLM до 85%

Китайская компания DeepSeek, известная своими открытыми моделями ИИ, выпустила новый фреймворк DSpark, который значительно ускоряет вывод больших языковых моделей (LLM). DSpark использует технику спекулятивного декодирования, позволяя модели генерировать токены быстрее без изменения качества ответов. В тестах на моделях DeepSeek-V4-Flash и DeepSeek-V4-Pro прирост скорости для отдельных пользователей составил от 57% до 85% по сравнению с предыдущим методом MTP-1.

Фреймворк опубликован под лицензией MIT, что делает его доступным для разработчиков и исследователей по всему миру. DeepSeek также предоставила техническую статью, контрольные точки моделей и код DeepSpec для обучения и оценки систем спекулятивного декодирования. Это позволяет другим командам адаптировать DSpark для своих моделей, включая такие семейства, как Qwen от Alibaba и Gemma от Google.

Спекулятивное декодирование решает проблему медленной генерации текста, когда модель вынуждена создавать каждый токен последовательно. Вместо этого DSpark использует легковесный черновик, который предлагает несколько вероятных следующих токенов, а основная модель проверяет их параллельно. Это значительно ускоряет процесс, особенно при высокой нагрузке.

DeepSeek применила DSpark к своим флагманским моделям: DeepSeek-V4-Flash (284 миллиарда параметров, 13 миллиардов активных) и DeepSeek-V4-Pro (1,6 триллиона параметров, 49 миллиардов активных). Обе модели поддерживают контекстные окна до миллиона токенов. Результаты показывают, что DSpark позволяет обслуживать больше одновременных запросов без потери скорости.

Значение DSpark выходит за рамки одной компании. Открытая лицензия и совместимость с другими моделями делают его важным инструментом для всей индустрии ИИ. Это может снизить затраты на развертывание LLM и ускорить внедрение ИИ в реальных приложениях, от чат-ботов до корпоративных систем.