СтатьяС чего начатьAndroid5 мин чтения

Как запустить локальный ИИ на Android-телефоне в 2026 году (без облака и без аккаунта)

GPU в вашем Android мощнее, чем в большинстве ноутбуков 2018 года. Рассказываем, как запустить ИИ прямо на телефоне, без подписки и так, чтобы данные не покидали устройство.

На этой странице
  1. Что понадобится
  2. Что умеет Off Grid
  3. Какие модели выбрать
  4. Как локальный ИИ работает на телефоне
  5. Аппаратное ускорение
  6. Трюк с KV-кешем, который ускоряет работу втрое
  7. Память — главное ограничение
  8. Почему локально, а не в облаке
  9. Как начать
  10. Что дальше

GPU в вашем Android-телефоне мощнее, чем в большинстве ноутбуков 2018 года. В современных чипах Snapdragon есть отдельные ускорители для ИИ, и они простаивают, пока вы платите 20 $ в месяц за ИИ на чужом сервере. Это меняется.

Off Grid — бесплатное приложение с открытым исходным кодом, которое запускает ИИ-модели локально на вашем Android-телефоне. После первой загрузки модели интернет не нужен. Без аккаунта. Данные не покидают устройство. В этом руководстве — как всё настроить, какие модели выбрать и какой скорости ждать на вашем железе.

Play Маркет GitHub

Что понадобится

Минимум: 6 ГБ оперативной памяти и процессор ARM64 (подойдёт любой телефон последних четырёх-пяти лет). Начать можно с моделей размером всего 80 МБ.

Рекомендуется: от 8 ГБ памяти, Snapdragon 8 Gen 2 или новее. Тогда доступны модели на 3–7 миллиардов параметров, которые дают по-настоящему полезные ответы.

Чем это отличается от облачного ИИ: ChatGPT и Claude работают на моделях с сотнями миллиардов параметров в дата-центрах. На телефоне запускаются модели поменьше (1–7 миллиардов параметров). Со сложными рассуждениями они справляются хуже, но для повседневных задач — быстрых вопросов, кратких пересказов, черновиков и разбора документов — работают на удивление хорошо.

Что умеет Off Grid

Off Grid — это не просто текстовый чат-бот. В одном приложении собраны шесть ИИ-функций, и все работают на вашем устройстве:

OGAM на iPhone с черновиком ответа для примерного проекта Acme Пример чата (iPhone) OGAM на iPhone превращает запрос в картинку: улучшенный промпт и готовый маяк Генерация изображений (на iPhone) Каталог моделей OGAM на iPhone с доступными и загруженными текстовыми моделями Доступные модели (iPhone)
OGAM на iPhone отвечает по документу проекта и указывает имя файла Документы проекта (iPhone)

Генерация текста. Qwen 3, Llama 3.2, Gemma 3, Phi-4 или любая модель в формате GGUF. Ответ появляется по словам, с поддержкой Markdown. 15–30 токенов в секунду на флагманах, 5–15 на среднем классе.

Генерация изображений. Локальный Stable Diffusion с предпросмотром в реальном времени. На Snapdragon ускоряется через NPU (5–10 секунд на картинку). Больше 20 моделей, включая Absolute Reality, DreamShaper и Anything V5.

Компьютерное зрение. Наведите камеру на предмет или прикрепите изображение и задайте вопрос. SmolVLM и Qwen3-VL отвечают примерно за 7 секунд на флагманах.

Распознавание речи. Локальный Whisper превращает голос в текст. Удерживайте кнопку для записи — текст появляется прямо во время речи. Звук никогда не покидает телефон.

Инструменты. Модели с поддержкой вызова функций используют встроенные инструменты: поиск в интернете, калькулятор, дату и время, сведения об устройстве. Модель сама выстраивает их в цепочку, с защитой от бесконечных циклов.

Анализ документов. Прикрепляйте к разговору PDF, файлы с кодом, CSV и другое.

Какие модели выбрать

Каталог моделей Off Grid фильтрует их по объёму памяти устройства, так что вы не скачаете то, что телефон не потянет. Вот что работает на реальном железе:

Телефоны с 6 ГБ памяти: выбирайте модели на 1–2 миллиарда параметров. Qwen 3 0.6B или SmolLM3 — хороший старт. Скорость 5–10 токенов в секунду, достаточно для коротких ответов и простых задач.

Телефоны с 8 ГБ памяти: золотая середина. Qwen 3 1.5B или Phi-4 Mini отвечают заметно лучше. 10–20 токенов в секунду на свежих Snapdragon.

Телефоны с 12 ГБ памяти и больше: можно запускать модели 7B, например Llama 3.2 7B или Qwen 3 4B. Во многих задачах они близки к ранней версии ChatGPT. 15–30 токенов в секунду на Snapdragon 8 Gen 3.

Квантизация важна. Модель в квантизации Q4_K_M занимает примерно вдвое меньше памяти, чем полная версия, почти без потери качества. На телефоне всегда берите Q4 или Q5.

Если модели у вас уже скачаны, можно импортировать свои файлы .gguf из памяти устройства.

Как локальный ИИ работает на телефоне

При локальном запуске веса модели загружаются в оперативную память телефона, а вычисления идут на вашем процессоре. Никакого сервера. После того как вы скачали модель с Hugging Face, все расчёты выполняются на устройстве.

Внутри Off Grid используется llama.cpp — тот же движок, на котором работает большинство локальных ИИ на компьютерах. Он собран под ARM64 и использует всё ускорение, какое есть в телефоне: NPU от Qualcomm через QNN, GPU Adreno через OpenCL или процессор с инструкциями ARM NEON.

В итоге ваши переписки, документы и изображения вообще не попадают в сеть. Проверьте сами: включите авиарежим. Всё продолжит работать.

Аппаратное ускорение

Off Grid сам определяет железо и выбирает самый быстрый путь:

Snapdragon 8 Gen 1 и новее с QNN: отдельный NPU работает заметно быстрее и экономнее, чем CPU или GPU. На Snapdragon 8 Gen 2 или Gen 3 это самый быстрый вариант. Off Grid включает QNN автоматически, если он доступен.

GPU Adreno через OpenCL: есть на большинстве телефонов со Snapdragon. Быстрее, чем один процессор, и подходит для более старых Snapdragon.

Только CPU: работает везде. Медленнее, но для небольших моделей годится.

Трюк с KV-кешем, который ускоряет работу втрое

Это самый большой выигрыш в скорости, о котором мало кто знает. KV-кеш хранит контекст разговора. По умолчанию он использует f16 (16-битные числа с плавающей точкой). В настройках Off Grid можно переключить его на q4_0 (4-битная квантизация).

Переход с f16 на q4_0 ускоряет работу примерно в три раза, а на качестве большинства моделей почти не сказывается. После первого ответа приложение само предложит эту оптимизацию.

Память — главное ограничение

В телефоне 8 ГБ памяти, но система занимает 3–4 ГБ. Для ИИ остаётся около 4 ГБ.

Примерная формула: размер файла модели × 1,5 = сколько памяти ей нужно в работе (остальное уходит на KV-кеш и промежуточные вычисления). То есть модели на 4 ГБ нужно около 6 ГБ свободной памяти.

Перед каждой загрузкой модели Off Grid проверяет свободную память и предупреждает, если модель не поместится. Так приложение не вылетает молча, когда система закрывает его из-за нехватки памяти. Вместо внезапного закрытия вы видите понятное предупреждение.

Почему локально, а не в облаке

Локальный ИИ на телефоне избавляет сразу от трёх зависимостей.

Без подписки. Облачный ИИ стоит от 20 $ в месяц. Локальный ИИ бесплатен после разовой загрузки модели.

Без интернета. Локальные модели работают в самолёте, в подвале, в стране с ограниченным интернетом. Нет связи — нет и перебоев.

Без утечки данных. Всё, что вы пишете облачному ИИ, хранится на сервере, который вы не контролируете. При локальной работе вопросы о здоровье, юридические документы, личный дневник и конфиденциальные рабочие заметки не покидают устройство. Off Grid — открытый проект, верить кому-то на слово не нужно. Прочитайте код сами.

Как начать

  1. Установите Off Grid из Play Маркета
  2. Откройте каталог моделей и выберите рекомендованную для объёма памяти вашего устройства
  3. Скачайте модель по Wi-Fi (от 80 МБ до 4 ГБ и больше)
  4. Включите авиарежим, чтобы убедиться, что всё работает локально
  5. Начинайте общаться

Первый ответ будет медленнее: модель загружается в память. Дальше всё быстрее. В настройках переключите KV-кеш на q4_0 — так скорость будет максимальной.

Что дальше

Следующее поколение Snapdragon от Qualcomm, по ожиданиям, выдаст 200 токенов в секунду для локального ИИ. Samsung Galaxy S26 выходит со встроенным ИИ на устройстве. А методы оптимизации выжимают всё больше качества из всё меньших моделей.

Off Grid активно развивается, новые функции выходят каждую неделю. Голосовой режим, инструменты, настраиваемый KV-кеш и компьютерное зрение появились за последний месяц. Свежие версии — на GitHub.

Через год запуск ИИ на телефоне перестанет быть трюком для энтузиастов. Это станет нормой.

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ