Команда SkyworkAI представила проект Matrix-Game, предназначенный для потокового нейросетевого рендеринга низкополигональных игр. Разработка разделяет игровую логику, физику и обработку ввода, которые остаются на стороне игрового движка, а казуальная видеомодель отвечает за формирование чистого RGB-потока.
В текущий релиз вошли три готовые сцены: Medieval Castle, Ancient Egypt и City Racing. Пользователям доступен автономный рендеринг, а также однопользовательское веб-демо по протоколу WebRTC для браузеров Safari и Chrome, не требующее видеокарты на клиентском устройстве.
Для запуска модели требуются операционная система Linux, видеокарта NVIDIA и Python 3.12. Проект протестирован на ускорителе A100 с 80 ГБ памяти в связке с PyTorch и CUDA. На текущей неделе разработчики планируют выпустить оптимизированный код инференса для видеокарт NVIDIA серии GeForce RTX 50.
Исходный код проекта распространяется под лицензией Apache-2.0, однако загрузка весов моделей и игровых ассистов производится отдельно с платформы Hugging Face с проверкой контрольных сумм.
По материалам издания github.com.
Обсуждение в Telegram
Открыть канал Candoru ↗