Специалисты LTT Labs проверили, насколько обычная игровая видеокарта подходит для запуска локального ИИ. Для теста они выбрали GeForce RTX 5060 с 8 ГБ видеопамяти, RTX 5070 с 12 ГБ и RTX 5060 Ti с 16 ГБ. На них запустили полноценного ИИ-агента, способного искать информацию в интернете, работать с файлами и программами, а также выполнять задачи пользователя.
Ранее по теме: WiCi One: внешняя видеокарта RTX 5060 Ti работает по Wi-Fi 7.
Ограничения по объёму памяти
Главным ограничением во всех случаях оказался объём памяти. На 16 ГБ удалось запустить модель Gemma 4 E4B с высокой точностью Q8 и контекстом в 131 072 токена. Агент успешно справлялся с поиском информации, написанием кода, развёртыванием Plex и управлением домом, хотя некоторые задачи всё равно требовали вмешательства человека.
На 12 ГБ использовалась более компактная квантизация той же модели, а размер контекста пришлось уменьшить до 65 536 токенов. Основные возможности сохранились, но ошибок в работе агента стало больше.
С видеокартой на 8 ГБ для сохранения большого контекстного окна исследователям пришлось перейти на более компактную модель Gemma 4 E2B. Она могла искать информацию и решать отдельные простые задачи, но уже не справлялась с полноценными агентскими сценариями.
Ранее по теме: Дефицит видеокарт GeForce RTX 50 может усугубиться: Micron, судя по всему, прекратила выпуск чипов GDDR7 объёмом 2 ГБ.
Например, при программировании возникали повторяющиеся ошибки, сложные задания не доводились до рабочего результата, а автоматизация работы с электронной почтой и развёртывание некоторых сервисов завершились неудачей. При этом авторы теста отмечают, что результат сильно зависит от выбранной модели, её квантизации и самого агентского ПО.
Исследователи пришли к выводу, что 8 ГБ видеопамяти достаточно для базового использования локального ИИ и запуска отдельных моделей, но для полноценной работы крупных моделей с высокой точностью и большим контекстом нужно не менее 16 ГБ. При необходимости часть модели можно перенести в оперативную память, но это резко снижает скорость работы.
