РуководствоМодели и производительностьТелефон3 мин чтения

На этой странице
  1. Быстрый выбор по ОЗУ
  2. Полный каталог моделей
  3. Что такое режим размышления?
  4. Что такое Q4_K_M
  5. Пороги безопасности ОЗУ
  6. Частые вопросы
  7. Другие руководства
  8. Off Grid AI в сравнении

Какую модель выбрать?

Эти рекомендации касаются моделей, которые действительно есть в Off Grid AI, а не общих советов, и взяты прямо из каталога моделей приложения. Квантование по умолчанию везде Q4_K_M.


Быстрый выбор по ОЗУ

ОЗУ устройства Лучшая текстовая модель Лучшая модель зрения
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B или Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Полный каталог моделей

Текстовые модели

Модель Параметры Мин. ОЗУ Контекст Подходит для
SmolLM2 360M 0.36B 3GB 8K Сверхлёгкая, только для устройств с малым объёмом ОЗУ
Qwen 3.5 0.8B 0.8B 3GB 262K Быстрые ответы и длинный контекст на недорогих устройствах
Qwen 3.5 2B 2B 4GB 262K Лучшая универсальная модель для устройств с 4 ГБ
SmolLM3 3B 3B 6GB 128K Создана для слабых устройств
Phi-4 Mini 3.8B 6GB 128K Рассуждения, математика, структурированные задачи
Mistral 7B 7B 6GB 32K Быстрая и надёжная на все случаи
Qwen 3.5 9B 9B 8GB 262K Лучшее качество на устройстве

Модели зрения (видят изображения)

Модель Параметры Мин. ОЗУ Подходит для
SmolVLM2 500M 0.5B 3GB Крошечная модель зрения для устройств с малым объёмом ОЗУ
SmolVLM 2B 2B 4GB Обычные задачи с изображениями на средних смартфонах
SmolVLM2 2.2B 2.2B 4GB Изображения и понимание видео
Gemma 4 E2B 2B (MoE) 4GB Лучшее зрение для устройств с 4 ГБ, режим размышления
Gemma 4 E4B 4B (MoE) 6GB Самые сильные рассуждения и зрение, режим размышления

Gemma 4 использует архитектуру Mixture-of-Experts (MoE). Реальное число задействованных параметров меньше, чем кажется, поэтому модель помещается в меньший объём ОЗУ, чем можно ожидать, и при этом выдаёт качество выше своего класса.


Что такое режим размышления?

У моделей Qwen 3.5 и Gemma 4 есть режим размышления: модель разбирает задачу шаг за шагом, прежде чем дать окончательный ответ. Похоже на промптинг с цепочкой рассуждений, только встроенный в саму модель.

Включайте его для сложных рассуждений, математики и многошаговых задач. Для быстрых вопросов, пересказов и простого общения он не нужен, потому что работает медленнее.


Что такое Q4_K_M

Off Grid AI по умолчанию использует квантование Q4_K_M для всех моделей. Это значит:

  • около 4,5 бита на вес
  • примерно на 5–8% ниже качество, чем у оригинала полной точности
  • примерно на 50–60% меньше версии float16
  • сообщество llama.cpp рекомендует его как лучший компромисс для мобильных устройств

Не опускайтесь ниже Q4_K_S, если только места совсем мало. Модели Q2 и Q3 заметно теряют в качестве.


Пороги безопасности ОЗУ

Перед загрузкой Off Grid AI сам проверяет, безопасно ли модель поместится в память:

  • Устройства с 4 ГБ ОЗУ: бюджет модели = 40% всей ОЗУ
  • Устройства с 6 ГБ и больше: бюджет модели = 60% всей ОЗУ
  • Текстовым моделям нужно примерно в 1,5 раза больше ОЗУ, чем весит файл (KV-кэш и активации)
  • Моделям изображений нужно примерно в 1,5 раза больше на iOS (CoreML) и в 1,8 раза на Android (Vulkan)

Если модель помечена как несовместимая с вашим устройством, причина в этом.


Частые вопросы

Какая модель лучше всего подходит для телефона с 4 ГБ ОЗУ? Qwen 3.5 2B (Q4_K_M). Для изображений Gemma 4 E2B.

Какое квантование Off Grid AI использует по умолчанию? По умолчанию Q4_K_M: лучший баланс качества и размера для телефона.

Какая модель лучше всего рассуждает на устройстве? Gemma 4 E4B (6 ГБ ОЗУ) или Qwen 3.5 9B (8 ГБ ОЗУ). У обеих есть режим размышления.


Другие руководства

Off Grid AI в сравнении

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ