РуководствоИзображения и зрениеТелефон2 мин чтения

На этой странице
  1. Что можно делать
  2. Доступные модели зрения
  3. Как пользоваться зрением
  4. Примеры промптов
  5. Советы
  6. Другие руководства

Компьютерное зрение: анализ изображений и документов на устройстве

Модели зрения в Off Grid AI смотрят на изображения и отвечают на вопросы о них. Наведите камеру на документ, товар, схему или чек и спросите что угодно.

Весь анализ идёт на устройстве, через мультимодальную поддержку llama.rn. Изображения никуда не загружаются.


Что можно делать

  • Читать чеки, счета и визитки: извлекать текст из фото
  • Описывать сцены: понимать, что на снимке
  • Разбирать документы: задавать вопросы по фото документа
  • Узнавать предметы: «что это?» с фотографией
  • Читать рукописный текст: с сильными моделями вроде Qwen3-VL
  • Код по скриншотам: покажите модели интерфейс и попросите воссоздать код

Доступные модели зрения

Модель Параметры Мин. ОЗУ Скорость Подходит для
SmolVLM2 500M 0.5B 3GB Очень быстро (~7 с) Быстрые вопросы по картинке на слабых устройствах
SmolVLM 2B 2B 4GB Быстро (~8 с) Общие задачи зрения
SmolVLM2 2.2B 2.2B 4GB Быстро (~8–10 с) Изображения и видео
Gemma 4 E2B 2B (MoE) 4GB Средне (~10–15 с) Лучшее зрение при 4 ГБ, режим размышления
Gemma 4 E4B 4B (MoE) 6GB Средне (~12–18 с) Самое сильное мышление со зрением, режим размышления
Qwen3-VL 2B 2B 4GB Средне Зрение на многих языках, режим размышления

Модели Gemma 4 совмещают зрение и режим размышления: они рассуждают шаг за шагом о том, что видят, и это сильно повышает точность в сложных задачах.


Как пользоваться зрением

  1. Откройте чат в Off Grid AI
  2. Нажмите значок вложения → выберите Camera или Photo Library
  3. Выберите или снимите фото
  4. Напишите вопрос и отправьте

Модель получает изображение и ваш вопрос. Модели зрения при настройке сами скачивают файл mmproj (мультимодальный проектор); он уже учтён в указанном размере модели.


Примеры промптов

Разбор документов:

“Какие позиции в этом чеке? Посчитай итог.”

Техническое чтение:

“Объясни эту схему архитектуры.”

Рукописный текст:

“Перепиши текст с этого фото.”

Вопросы по картинке:

“Какая модель телефона на этом фото?”

Код по интерфейсу:

“Напиши код на React Native, который воссоздаст этот экран.”


Советы

Gemma 4 для сложных рассуждений: если модели нужно хорошо обдумать увиденное (прочитать график, решить задачу по фото), режим размышления Gemma 4 даёт гораздо лучший результат, чем более быстрая модель.

SmolVLM для быстрых задач: для простого описания или извлечения текста SmolVLM2 500M справляется на удивление хорошо и намного быстрее.

Качество снимка важно: размытые или неконтрастные фото сильно снижают точность. Для документов лучше ровный свет и съёмка строго сверху.


Другие руководства

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ