Проект ToshLLM предназначен для владельцев Intel Mac с дискретными видеокартами AMD, которые хотят запускать современные ИИ-модели на своём компьютере. По данным разработчиков, приложение требует macOS 14 или новее и использует собственные оптимизированные для Metal вычислительные пути для графических архитектур AMD RDNA и GCN.
Все вычисления выполняются локально: запросы, загруженные файлы и история диалогов не отправляются в облако. Для работы не требуется отдельная учётная запись или оплата за токены. Это особенно важно для задач с конфиденциальными документами, хотя итоговая скорость зависит от модели, объёма видеопамяти и конкретной видеокарты.
Приложение написано с использованием SwiftUI, определяет установленное оборудование и рекомендует модели, которые помещаются в доступную память. В одном интерфейсе объединены поиск и загрузка моделей, текстовый чат, мультимодальные функции, генерация изображений и локальный API, совместимый с форматом OpenAI.
На официальном сайте опубликованы воспроизводимые тесты для разных моделей и видеокарт. Например, для Radeon RX 6700 XT с 12 ГБ памяти разработчики приводят результаты Llama 3.2 1B, Qwen3 4B, gpt-oss 20B и Gemma 3 4B. Эти показатели относятся к конкретным конфигурациям и не гарантируют такую же производительность на любом Mac.
ToshLLM распространяется бесплатно с открытым исходным кодом по лицензии GPL-3.0. Проект находится в активной бета-версии, поэтому перед установкой на основной компьютер стоит свериться со списком совместимого оборудования и документацией. По скорости старый Intel Mac не заменит новые Mac Studio на Apple Silicon, но ToshLLM позволяет задействовать уже имеющуюся систему без облачных сервисов.
