РуководствоМодели и производительностьAndroid2 мин чтения

На этой странице
  1. Что понадобится
  2. Шаг 1: скачайте Off Grid AI
  3. Шаг 2: выберите модель
  4. Шаг 3: скачайте и загрузите
  5. Шаг 4: отключитесь от сети
  6. Производительность по устройствам
  7. Зачем запускать LLM локально, а не в облаке?
  8. Другие руководства
  9. Off Grid AI в сравнении

Как запускать LLM локально на телефоне с Android в 2026 году (без облака и без аккаунта)

Каждый ваш вопрос к ChatGPT записывается на сервере: запрос, ответ, время, ваш аккаунт. И хранится бессрочно. Эти данные идут на улучшение моделей, на рекламу и на ответы на запросы правоохранительных органов.

Off Grid AI убирает весь этот слой. Модель работает в оперативной памяти телефона через llama.cpp на ARM64. Ваши запросы никуда не отправляются.

Вот как всё настроить.


Что понадобится

  • Android-телефон с 4 ГБ ОЗУ или больше (Android 10 или новее)
  • От 2 до 5 ГБ свободного места в зависимости от модели
  • Интернет один раз, для первой загрузки, и больше никогда

Шаг 1: скачайте Off Grid AI

Скачать Off Grid AI в Google Play


Шаг 2: выберите модель

Все модели по умолчанию используют квантование Q4_K_M: лучший баланс качества и размера для телефона.

Модель Мин. ОЗУ Размер Подходит для
Qwen 3.5 0.8B 3GB ~0.8GB Очень быстрая, контекст 262K, недорогие устройства
Qwen 3.5 2B 4GB ~1.7GB Лучший выбор для устройств с 4–6 ГБ ОЗУ, контекст 262K
Gemma 4 E2B 4GB ~1.5GB Зрение и режим размышления, архитектура MoE
Mistral 7B 6GB ~4.1GB Быстрая и надёжная на все случаи
Gemma 4 E4B 6GB ~2.5GB Сильные рассуждения и зрение, режим размышления
Qwen 3.5 9B 8GB ~5.5GB Лучшее качество на устройстве

Если у вас 4–6 ГБ, начните с Qwen 3.5 2B. Если 8 ГБ ОЗУ или больше, начните с Qwen 3.5 9B.


Шаг 3: скачайте и загрузите

  1. Откройте Off Grid AI → нажмите Models
  2. Выберите модель → нажмите Download
  3. После загрузки нажмите Load
  4. Откройте Chat и начинайте

С этого момента модель работает целиком на вашем устройстве. Никаких сетевых запросов.


Шаг 4: отключитесь от сети

Включите авиарежим. Откройте чат. Всё работает.

В этом весь смысл. Теперь у вас есть толковый ИИ-ассистент, который работает без связи, в любой сети, в любой стране и без ежемесячного счёта.


Производительность по устройствам

Off Grid AI использует llama.cpp на ARM64 с SIMD-инструкциями NEON, i8mm и dotprod. На GPU Qualcomm Adreno можно дополнительно включить перенос вычислений на GPU через OpenCL.

Устройство ОЗУ Рекомендуемая модель Примерно токенов/с
Pixel 9 Pro 16GB Qwen 3.5 9B 15–25
Samsung Galaxy S25 12GB Qwen 3.5 9B 15–25
Pixel 8 Pro 12GB Qwen 3.5 9B 12–20
Samsung S24 8GB Qwen 3.5 9B или Gemma 4 E4B 10–18
Pixel 7 8GB Qwen 3.5 9B 8–15
OnePlus 12 12GB Qwen 3.5 9B 12–20
Samsung A55 8GB Qwen 3.5 2B 15–25
Недорогое устройство с 4 ГБ 4GB Qwen 3.5 0.8B 20–35

Зачем запускать LLM локально, а не в облаке?

Приватность. Ваши запросы никогда не покидают устройство.

Бесплатно. Ни платы за API, ни подписки. Модель скачивается бесплатно и работает всегда.

Офлайн. Работает в самолёте, при плохой связи и в странах, где облачные ИИ-сервисы ограничены.

Скорость. На коротких запросах локальные вычисления на современных ARM-чипах удивительно быстрые, часто быстрее, чем ждать ответа из облака по медленному соединению.


Другие руководства

Off Grid AI в сравнении

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ