Компания Intel анонсировала запуск сервиса Intel Inference Microservices. Это набор контейнеризированных микросервисов, предназначенных для запуска и инференса больших языковых моделей на уже имеющихся у предприятий процессорах Xeon без необходимости долгой ручной оптимизации аппаратной части.
Каждый такой микросервис представляет собой независимый контейнер, который работает через совместимый с OpenAI API. При запуске система автоматически определяет модель процессора Intel, объем памяти, количество ядер и наличие встроенных ускорителей вроде Advanced Matrix Extensions, AVX-512, AVX2 или VNNI. На основе этих данных контейнер применяет предварительно протестированные конфигурации и подбирает оптимизированные параметры для движка vLLM.
Ранее по теме: Процессор Intel Core 5 205H протестировали в PassMark.
Первая версия микросервисов поддерживает BF16-точность и работает в средах Docker или Kubernetes 1.24 и выше. В качестве аппаратной базы требуются процессоры Xeon четвертого, пятого или шестого поколения, а также рекомендуется использовать не менее 32 ГБ оперативной памяти.
Ранее по теме: Умный домашний центр Apple HomeView получит поддержку сторонних приложений.
В компании отмечают, что текущий релиз для процессоров Xeon является лишь отправной точкой. В будущем Intel планирует перенести аналогичный подход на другие линейки продуктов, включая графические процессоры для дата-центров, сохранив при этом единый программный интерфейс для приложений.
По материалам издания IT之家 / ITHome.
Обсуждение в Telegram
Открыть канал Candoru ↗