Команда DeepSeek представила DeepInfer — высокопроизводительный фреймворк с открытым исходным кодом для масштабного инференса, который применяется в собственных производственных сервисах компании. Релиз включает инструменты для офлайн-инференса с базовыми функциями, необходимыми для работы в промышленных масштабах.
Ранее по теме: Reflection AI представила открытую модель Beam с 501 млрд параметров.
Новый фреймворк включает оптимизированные ядра, включая FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и пользовательские ядра TileLang. В системе реализована поддержка параллелизма, в том числе Attention DP, сбалансированного CP, а также MoE EP и EPLB. Асинхронное планирование позволяет совмещать планирование батчей на CPU с выполнением задач на устройстве.
Ранее по теме: DeepSeek возместит пользователям API расходы за неделю после сбоя.
Среди других возможностей — механизмы DSpark и верификация на основе оценки уверенности для ускорения декодирования, а также ограничение повтора decoder SWA для сокращения нагрузки на префилл. Платформа поддерживает детерминистическую выборку и структурированные выводы с ограничением генерации по регулярным выражениям, схемам JSON или грамматикам EBNF на базе NVIDIA GPU.
Для работы с DeepInfer требуется предварительно создать и активировать пустую среду Python 3.12. Чек-пойнт по умолчанию deepseek-ai/DeepSeek-V4.1-Flash-1017 загружается в кэш Hugging Face при первом запуске, либо может быть запущен из локальной копии через параметр DEEPINFER_HF_MODEL_DIR.
Проект распространяется под лицензией Apache License 2.0. Платформа изначально создавалась на базе vLLM с использованием наработок SGLang и TensorRT-LLM.
Обсуждение в Telegram ↗