На этой странице
GPU в вашем Android-телефоне мощнее, чем в большинстве ноутбуков 2018 года. В современных чипах Snapdragon есть отдельные ускорители для ИИ, и они простаивают, пока вы платите 20 $ в месяц за ИИ на чужом сервере. Это меняется.
Off Grid — бесплатное приложение с открытым исходным кодом, которое запускает ИИ-модели локально на вашем Android-телефоне. После первой загрузки модели интернет не нужен. Без аккаунта. Данные не покидают устройство. В этом руководстве — как всё настроить, какие модели выбрать и какой скорости ждать на вашем железе.
| Play Маркет | GitHub |
Что понадобится
Минимум: 6 ГБ оперативной памяти и процессор ARM64 (подойдёт любой телефон последних четырёх-пяти лет). Начать можно с моделей размером всего 80 МБ.
Рекомендуется: от 8 ГБ памяти, Snapdragon 8 Gen 2 или новее. Тогда доступны модели на 3–7 миллиардов параметров, которые дают по-настоящему полезные ответы.
Чем это отличается от облачного ИИ: ChatGPT и Claude работают на моделях с сотнями миллиардов параметров в дата-центрах. На телефоне запускаются модели поменьше (1–7 миллиардов параметров). Со сложными рассуждениями они справляются хуже, но для повседневных задач — быстрых вопросов, кратких пересказов, черновиков и разбора документов — работают на удивление хорошо.
Что умеет Off Grid
Off Grid — это не просто текстовый чат-бот. В одном приложении собраны шесть ИИ-функций, и все работают на вашем устройстве:
Пример чата (iPhone)
|
Генерация изображений (на iPhone)
|
Доступные модели (iPhone)
|
Документы проекта (iPhone)
|
Генерация текста. Qwen 3, Llama 3.2, Gemma 3, Phi-4 или любая модель в формате GGUF. Ответ появляется по словам, с поддержкой Markdown. 15–30 токенов в секунду на флагманах, 5–15 на среднем классе.
Генерация изображений. Локальный Stable Diffusion с предпросмотром в реальном времени. На Snapdragon ускоряется через NPU (5–10 секунд на картинку). Больше 20 моделей, включая Absolute Reality, DreamShaper и Anything V5.
Компьютерное зрение. Наведите камеру на предмет или прикрепите изображение и задайте вопрос. SmolVLM и Qwen3-VL отвечают примерно за 7 секунд на флагманах.
Распознавание речи. Локальный Whisper превращает голос в текст. Удерживайте кнопку для записи — текст появляется прямо во время речи. Звук никогда не покидает телефон.
Инструменты. Модели с поддержкой вызова функций используют встроенные инструменты: поиск в интернете, калькулятор, дату и время, сведения об устройстве. Модель сама выстраивает их в цепочку, с защитой от бесконечных циклов.
Анализ документов. Прикрепляйте к разговору PDF, файлы с кодом, CSV и другое.
Какие модели выбрать
Каталог моделей Off Grid фильтрует их по объёму памяти устройства, так что вы не скачаете то, что телефон не потянет. Вот что работает на реальном железе:
Телефоны с 6 ГБ памяти: выбирайте модели на 1–2 миллиарда параметров. Qwen 3 0.6B или SmolLM3 — хороший старт. Скорость 5–10 токенов в секунду, достаточно для коротких ответов и простых задач.
Телефоны с 8 ГБ памяти: золотая середина. Qwen 3 1.5B или Phi-4 Mini отвечают заметно лучше. 10–20 токенов в секунду на свежих Snapdragon.
Телефоны с 12 ГБ памяти и больше: можно запускать модели 7B, например Llama 3.2 7B или Qwen 3 4B. Во многих задачах они близки к ранней версии ChatGPT. 15–30 токенов в секунду на Snapdragon 8 Gen 3.
Квантизация важна. Модель в квантизации Q4_K_M занимает примерно вдвое меньше памяти, чем полная версия, почти без потери качества. На телефоне всегда берите Q4 или Q5.
Если модели у вас уже скачаны, можно импортировать свои файлы .gguf из памяти устройства.
Как локальный ИИ работает на телефоне
При локальном запуске веса модели загружаются в оперативную память телефона, а вычисления идут на вашем процессоре. Никакого сервера. После того как вы скачали модель с Hugging Face, все расчёты выполняются на устройстве.
Внутри Off Grid используется llama.cpp — тот же движок, на котором работает большинство локальных ИИ на компьютерах. Он собран под ARM64 и использует всё ускорение, какое есть в телефоне: NPU от Qualcomm через QNN, GPU Adreno через OpenCL или процессор с инструкциями ARM NEON.
В итоге ваши переписки, документы и изображения вообще не попадают в сеть. Проверьте сами: включите авиарежим. Всё продолжит работать.
Аппаратное ускорение
Off Grid сам определяет железо и выбирает самый быстрый путь:
Snapdragon 8 Gen 1 и новее с QNN: отдельный NPU работает заметно быстрее и экономнее, чем CPU или GPU. На Snapdragon 8 Gen 2 или Gen 3 это самый быстрый вариант. Off Grid включает QNN автоматически, если он доступен.
GPU Adreno через OpenCL: есть на большинстве телефонов со Snapdragon. Быстрее, чем один процессор, и подходит для более старых Snapdragon.
Только CPU: работает везде. Медленнее, но для небольших моделей годится.
Трюк с KV-кешем, который ускоряет работу втрое
Это самый большой выигрыш в скорости, о котором мало кто знает. KV-кеш хранит контекст разговора. По умолчанию он использует f16 (16-битные числа с плавающей точкой). В настройках Off Grid можно переключить его на q4_0 (4-битная квантизация).
Переход с f16 на q4_0 ускоряет работу примерно в три раза, а на качестве большинства моделей почти не сказывается. После первого ответа приложение само предложит эту оптимизацию.
Память — главное ограничение
В телефоне 8 ГБ памяти, но система занимает 3–4 ГБ. Для ИИ остаётся около 4 ГБ.
Примерная формула: размер файла модели × 1,5 = сколько памяти ей нужно в работе (остальное уходит на KV-кеш и промежуточные вычисления). То есть модели на 4 ГБ нужно около 6 ГБ свободной памяти.
Перед каждой загрузкой модели Off Grid проверяет свободную память и предупреждает, если модель не поместится. Так приложение не вылетает молча, когда система закрывает его из-за нехватки памяти. Вместо внезапного закрытия вы видите понятное предупреждение.
Почему локально, а не в облаке
Локальный ИИ на телефоне избавляет сразу от трёх зависимостей.
Без подписки. Облачный ИИ стоит от 20 $ в месяц. Локальный ИИ бесплатен после разовой загрузки модели.
Без интернета. Локальные модели работают в самолёте, в подвале, в стране с ограниченным интернетом. Нет связи — нет и перебоев.
Без утечки данных. Всё, что вы пишете облачному ИИ, хранится на сервере, который вы не контролируете. При локальной работе вопросы о здоровье, юридические документы, личный дневник и конфиденциальные рабочие заметки не покидают устройство. Off Grid — открытый проект, верить кому-то на слово не нужно. Прочитайте код сами.
Как начать
- Установите Off Grid из Play Маркета
- Откройте каталог моделей и выберите рекомендованную для объёма памяти вашего устройства
- Скачайте модель по Wi-Fi (от 80 МБ до 4 ГБ и больше)
- Включите авиарежим, чтобы убедиться, что всё работает локально
- Начинайте общаться
Первый ответ будет медленнее: модель загружается в память. Дальше всё быстрее. В настройках переключите KV-кеш на q4_0 — так скорость будет максимальной.
Что дальше
Следующее поколение Snapdragon от Qualcomm, по ожиданиям, выдаст 200 токенов в секунду для локального ИИ. Samsung Galaxy S26 выходит со встроенным ИИ на устройстве. А методы оптимизации выжимают всё больше качества из всё меньших моделей.
Off Grid активно развивается, новые функции выходят каждую неделю. Голосовой режим, инструменты, настраиваемый KV-кеш и компьютерное зрение появились за последний месяц. Свежие версии — на GitHub.
Через год запуск ИИ на телефоне перестанет быть трюком для энтузиастов. Это станет нормой.
Пример чата (iPhone)
Генерация изображений (на iPhone)
Доступные модели (iPhone)
Документы проекта (iPhone)