Материалы по теме: Xeon

Компания Intel анонсировала запуск сервиса Intel Inference Microservices. Это набор контейнеризированных микросервисов, предназначенных для запуска и инференса больших языковых моделей на уже имеющихся у предприятий процессорах Xeon без необходимости долгой ручной оптимизации аппаратной части. Каждый такой микросервис представляет собой независимый контейнер, который работает через совместимый с OpenAI API. При запуске система автоматически определяет модель процессора Intel, объем памяти, количество ядер и наличие встроенных ускорителей вроде Advanced Matrix Extensions, AVX-512, AVX2 или VNNI. На основе этих данных контейнер применяет предварительно протестированные конфигурации и подбирает оптимизированные параметры для движка vLLM.Ранее по теме: Процессор Intel Core 5 205H протестировали в PassMark. Первая версия микросервисов поддерживает BF16-точность и работает в средах Docker или Kubernetes 1.24 и выше. В качестве аппаратной базы требуются процессоры Xeon четвертого, пятого или шестого поколения, а также рекомендуется использовать не менее 32 ГБ оперативной памяти.Ранее по теме: Умный домашний центр Apple HomeView получит поддержку сторонних приложений. В компании отмечают, что текущий релиз для процессоров Xeon является лишь отправной точкой. В будущем Intel планирует перенести аналогичный подход на другие линейки продуктов, включая графические процессоры для дата-центров, сохранив при этом единый программный интерфейс для приложений.По материалам издания IT之家 / ITHome.

Intel анонсировала микросервисы для инференса на процессорах Xeon