На ежегодном мероприятии для разработчиков китайская компания iFlytek официально представила новую модель Spark X2.6 с архитектурой совместной работы на устройствах и в облаке. По заявлению создателей, обучение нейросети полностью проводилось на вычислительных мощностях китайского производства.
Ранее по теме: Bluetooth-пульт Xiaomi начали использовать для работы с нейросетями.
Особенности Spark X2.6
Модель Spark X2.6 построена на архитектуре смеси экспертов (MoE) с параметрами 293B-A30B. Длина контекстного окна достигает одного миллиона токенов. Компания заявляет о высоком уровне возможностей системы при написании кода и выполнении задач автономных агентов.
Председатель правления iFlytek Лю Цинфэн отметил, что компания адаптировала технологию динамического параллельного обучения для длинных задач под локальные китайские платформы. Это позволило обойти аппаратные ограничения пропускной способности памяти чипов. Также разработчики применили распределённый инференс на гетерогенных вычислениях и технологию повторного использования результатов вычислений.
Открытая модель Spark X2.6-4B
Помимо флагманской системы, компания выпустила открытую модель Spark X2.6-4B, предназначенную для локальной работы на пользовательских устройствах. Она получила улучшения в генерации кода, работе автономных агентов, обработке длинных текстов и многоязычных запросов. В фирменном фреймворке предусмотрено три режима инференса, а эффективность работы, по заявлениям разработчиков, превосходит Ollama.
Линейка моделей Spark X2.6 уже доступна для тестирования на официальном сайте iFlytek, а инференс версии X2.6-4B временно предоставляется бесплатно.
Обсуждение в Telegram ↗