СтатьяС чего начатьiPhone5 мин чтения

Как запустить локальный ИИ на iPhone в 2026 году (полностью офлайн, без подписки)

В iPhone есть Neural Engine на 35 триллионов операций в секунду. С Off Grid на нём работают полноценные ИИ-модели, офлайн и без подписки.

На этой странице
  1. Что понадобится
  2. Что умеет Off Grid
  3. Какие модели выбрать
  4. Как локальный ИИ работает на iPhone
  5. Безопасность памяти на iOS
  6. Трюк с KV-кэшем, который утраивает скорость
  7. Зачем запускать ИИ локально, а не в облаке
  8. Сравнение с Apple Intelligence
  9. С чего начать
  10. Что дальше

В A17 Pro вашего iPhone есть 16-ядерный Neural Engine, который выполняет 35 триллионов операций в секунду. Apple использует его для обработки фото и автокоррекции. А вы можете запускать на нём полноценные ИИ-модели локально: без iCloud, без подписки, без утечки данных с телефона.

Off Grid это бесплатное приложение с открытым кодом, которое запускает ИИ-модели прямо на iPhone. После первой загрузки модели интернет не нужен. Для ИИ-функций не нужен Apple ID. Данные никуда не отправляются. В этом руководстве: как всё настроить, какие модели лучше работают на iOS и какой скорости ждать.

App Store GitHub

Что понадобится

Минимум: iPhone с 6 ГБ ОЗУ (iPhone 13 Pro и новее), чип A16 или A17. Начать можно с моделей размером от 80 МБ.

Рекомендуется: iPhone 15 Pro или новее (8 ГБ ОЗУ). На нём работают модели от 3 миллиардов параметров, которые дают по-настоящему полезные ответы.

Чем вы жертвуете по сравнению с облачным ИИ: облачные сервисы вроде ChatGPT и Claude запускают модели на сотни миллиардов параметров на GPU в дата-центрах. Локально на iPhone работают модели поменьше (от 1 до 7 миллиардов параметров). В сложных рассуждениях они слабее, но с повседневными задачами вроде быстрых вопросов, кратких пересказов, черновиков и анализа документов справляются удивительно хорошо.

Что умеет Off Grid

Off Grid не просто текстовый чат-бот. В одном приложении локально работают шесть ИИ-функций, и все на вашем устройстве:

OGAM на iPhone с черновиком ответа для примера проекта Acme Пример чата (iPhone) OGAM на iPhone превращает запрос в картинку: улучшенный запрос и готовый маяк Генерация изображений (iPhone) Каталог моделей OGAM на iPhone с доступными и загруженными текстовыми моделями Доступные модели (iPhone)
OGAM на iPhone отвечает по документу из примера проекта и указывает имя файла Документы проекта (iPhone)

Текст. Запускайте Qwen 3, Llama 3.2, Gemma 3, Phi-4 или любую GGUF-модель. Ответы появляются по мере генерации, с поддержкой Markdown. Ускорение на GPU через Metal на всех современных iPhone даёт 15–25 токенов в секунду.

Изображения. Stable Diffusion локально через конвейер Core ML от Apple с ускорением на Neural Engine. Есть SD 1.5, SD 2.1 и SDXL, оптимизированные под iOS.

Компьютерное зрение. Наведите камеру на предмет или прикрепите картинку и задайте вопрос. SmolVLM и Qwen3-VL отвечают примерно за 7 секунд на iPhone 15 Pro.

Расшифровка голоса. Whisper локально. Удерживайте кнопку для записи, текст появляется прямо во время речи. Звук никогда не покидает телефон.

Инструменты. Модели с вызовом функций пользуются встроенными инструментами: веб-поиском, калькулятором, датой и временем, сведениями об устройстве. Модель сама связывает их в цепочку, с защитой от зацикливания.

Анализ документов. Прикрепляйте к чатам PDF, файлы с кодом, CSV и другое. На iOS текст из PDF извлекается встроенным PDFKit.

Какие модели выбрать

Каталог моделей Off Grid фильтрует их по объёму ОЗУ устройства, так что вы никогда не скачаете то, что iPhone не потянет. Вот как это выглядит на реальном железе:

iPhone с 6 ГБ ОЗУ (iPhone 13 Pro, 14 Pro): берите модели на 1–2 миллиарда параметров. Qwen 3 0.6B или SmolLM3 для начала подойдут. Ожидайте 8–12 токенов в секунду. Годится для коротких ответов и простых задач.

iPhone с 8 ГБ ОЗУ (iPhone 15 Pro, 16 Pro): лучший вариант. Qwen 3 1.5B или Phi-4 Mini отвечают заметно качественнее. 15–25 токенов в секунду с ускорением через Metal.

Квантование важно. Модель с квантованием Q4_K_M занимает примерно вдвое меньше памяти, чем полная версия, почти без потери качества. На телефоне всегда выбирайте Q4 или Q5.

Если модели у вас уже скачаны, можно импортировать свои .gguf-файлы из памяти устройства.

Как локальный ИИ работает на iPhone

При локальном запуске веса модели загружаются в ОЗУ iPhone, а вычисления идут на вашем процессоре. Никакого сервера. После загрузки модели с HuggingFace каждое вычисление происходит на вашем устройстве.

Off Grid использует llama.cpp, собранный под Apple Silicon с ускорением на GPU через Metal. Тот же движок стоит за большинством локальных ИИ на Mac. Он работает прямо на GPU iPhone и гораздо быстрее, чем расчёты только на CPU.

Для изображений Off Grid использует собственный конвейер Stable Diffusion на Core ML от Apple, работающий на Neural Engine для максимальной эффективности. То самое железо, которое Apple использует для обработки ваших фото, теперь рисует ваши ИИ-картинки.

В итоге ваши чаты, документы и изображения никогда не касаются сети. Проверьте сами в режиме полёта. Всё работает.

Безопасность памяти на iOS

iOS без колебаний закрывает приложения, которые занимают слишком много памяти. Даже модель, которая формально помещается в ОЗУ, могут выгрузить, если iOS понадобится память для чего-то ещё.

Off Grid проверяет память заранее. Перед загрузкой модели он считает, сколько ОЗУ реально нужно (размер файла x 1,5 для текстовых моделей), и сравнивает со свободной памятью. На устройствах с 4 ГБ ОЗУ и меньше ускорение на GPU автоматически отключается, чтобы Metal не падал при выделении буферов.

Если модель не помещается, вы увидите понятное предупреждение, а не молча закрывшееся приложение.

Трюк с KV-кэшем, который утраивает скорость

Это самый большой прирост скорости, который многие упускают. KV-кэш хранит контекст разговора. По умолчанию он использует f16 (16-битные числа с плавающей точкой). В настройках Off Grid его можно переключить на q4_0 (4-битное квантование).

Переход с f16 на q4_0 примерно утраивает скорость, а качество у большинства моделей почти не страдает. После первой генерации приложение само подскажет это сделать.

Зачем запускать ИИ локально, а не в облаке

Локальный ИИ на iPhone избавляет сразу от трёх зависимостей.

Без подписки. Облачный ИИ стоит от 20 $ в месяц. Локальный бесплатен после разовой загрузки модели.

Без интернета. Локальные модели работают в самолёте, в подвале, где угодно. Нет связи, нет и перебоев.

Без утечки данных. Всё, что вы вводите в облачный ИИ, хранится на сервере, который вы не контролируете. При локальной работе ваши вопросы о здоровье, юридические документы, личный дневник и рабочие заметки не покидают устройство. Off Grid с открытым кодом: не нужно верить чьим-то обещаниям о приватности, код можно прочитать самому.

Сравнение с Apple Intelligence

Apple Intelligence выполняет часть задач на устройстве, а другие отправляет на серверы Private Cloud Compute от Apple. Она ограничена собственными моделями Apple и привязана к её экосистеме. Нельзя выбрать модель, нельзя проверить, что работает локально, а что в облаке, и нельзя пользоваться ею на Android.

Off Grid всё делает локально. Модель выбираете вы. Код проверяете вы. Работает на iOS, Android и macOS. Без закрытых экосистем.

С чего начать

  1. Установите Off Grid из App Store
  2. Откройте каталог моделей и выберите рекомендованную модель под ОЗУ вашего устройства
  3. Скачайте модель по Wi-Fi (от 80 МБ до 4 ГБ и больше)
  4. Включите режим полёта и убедитесь, что всё работает локально
  5. Начинайте общаться

Первый ответ будет медленнее, пока модель загружается в память. Дальше быстрее. Для максимальной скорости переключите KV-кэш на q4_0 в настройках.

Off Grid также нативно работает на Mac с Apple Silicon через Mac Catalyst. То же приложение, те же модели, та же приватность.

Что дальше

Следующие чипы Apple должны ещё ускорить локальный ИИ, а новые методы оптимизации выжимают всё больше качества из небольших моделей. Разрыв между локальным и облачным ИИ сокращается каждый квартал.

Off Grid активно развивается, новые функции выходят каждую неделю. Свежие версии ищите на GitHub.

Через год локальный ИИ на телефоне будет не трюком для продвинутых, а нормой.

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ