На этой странице
Какую модель выбрать?
Эти рекомендации касаются моделей, которые действительно есть в Off Grid AI, а не общих советов, и взяты прямо из каталога моделей приложения. Квантование по умолчанию везде Q4_K_M.
Быстрый выбор по ОЗУ
| ОЗУ устройства | Лучшая текстовая модель | Лучшая модель зрения |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B или Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
Полный каталог моделей
Текстовые модели
| Модель | Параметры | Мин. ОЗУ | Контекст | Подходит для |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Сверхлёгкая, только для устройств с малым объёмом ОЗУ |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Быстрые ответы и длинный контекст на недорогих устройствах |
| Qwen 3.5 2B | 2B | 4GB | 262K | Лучшая универсальная модель для устройств с 4 ГБ |
| SmolLM3 3B | 3B | 6GB | 128K | Создана для слабых устройств |
| Phi-4 Mini | 3.8B | 6GB | 128K | Рассуждения, математика, структурированные задачи |
| Mistral 7B | 7B | 6GB | 32K | Быстрая и надёжная на все случаи |
| Qwen 3.5 9B | 9B | 8GB | 262K | Лучшее качество на устройстве |
Модели зрения (видят изображения)
| Модель | Параметры | Мин. ОЗУ | Подходит для |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Крошечная модель зрения для устройств с малым объёмом ОЗУ |
| SmolVLM 2B | 2B | 4GB | Обычные задачи с изображениями на средних смартфонах |
| SmolVLM2 2.2B | 2.2B | 4GB | Изображения и понимание видео |
| Gemma 4 E2B | 2B (MoE) | 4GB | Лучшее зрение для устройств с 4 ГБ, режим размышления |
| Gemma 4 E4B | 4B (MoE) | 6GB | Самые сильные рассуждения и зрение, режим размышления |
Gemma 4 использует архитектуру Mixture-of-Experts (MoE). Реальное число задействованных параметров меньше, чем кажется, поэтому модель помещается в меньший объём ОЗУ, чем можно ожидать, и при этом выдаёт качество выше своего класса.
Что такое режим размышления?
У моделей Qwen 3.5 и Gemma 4 есть режим размышления: модель разбирает задачу шаг за шагом, прежде чем дать окончательный ответ. Похоже на промптинг с цепочкой рассуждений, только встроенный в саму модель.
Включайте его для сложных рассуждений, математики и многошаговых задач. Для быстрых вопросов, пересказов и простого общения он не нужен, потому что работает медленнее.
Что такое Q4_K_M
Off Grid AI по умолчанию использует квантование Q4_K_M для всех моделей. Это значит:
- около 4,5 бита на вес
- примерно на 5–8% ниже качество, чем у оригинала полной точности
- примерно на 50–60% меньше версии float16
- сообщество llama.cpp рекомендует его как лучший компромисс для мобильных устройств
Не опускайтесь ниже Q4_K_S, если только места совсем мало. Модели Q2 и Q3 заметно теряют в качестве.
Пороги безопасности ОЗУ
Перед загрузкой Off Grid AI сам проверяет, безопасно ли модель поместится в память:
- Устройства с 4 ГБ ОЗУ: бюджет модели = 40% всей ОЗУ
- Устройства с 6 ГБ и больше: бюджет модели = 60% всей ОЗУ
- Текстовым моделям нужно примерно в 1,5 раза больше ОЗУ, чем весит файл (KV-кэш и активации)
- Моделям изображений нужно примерно в 1,5 раза больше на iOS (CoreML) и в 1,8 раза на Android (Vulkan)
Если модель помечена как несовместимая с вашим устройством, причина в этом.
Частые вопросы
Какая модель лучше всего подходит для телефона с 4 ГБ ОЗУ? Qwen 3.5 2B (Q4_K_M). Для изображений Gemma 4 E2B.
Какое квантование Off Grid AI использует по умолчанию? По умолчанию Q4_K_M: лучший баланс качества и размера для телефона.
Какая модель лучше всего рассуждает на устройстве? Gemma 4 E4B (6 ГБ ОЗУ) или Qwen 3.5 9B (8 ГБ ОЗУ). У обеих есть режим размышления.
Другие руководства
- Как запускать LLM локально на телефоне с Android в 2026 году
- Как запускать LLM локально на iPhone в 2026 году
- Компьютерное зрение: анализ изображений и документов