На этой странице
Компьютерное зрение: анализ изображений и документов на устройстве
Модели зрения в Off Grid AI смотрят на изображения и отвечают на вопросы о них. Наведите камеру на документ, товар, схему или чек и спросите что угодно.
Весь анализ идёт на устройстве, через мультимодальную поддержку llama.rn. Изображения никуда не загружаются.
Что можно делать
- Читать чеки, счета и визитки: извлекать текст из фото
- Описывать сцены: понимать, что на снимке
- Разбирать документы: задавать вопросы по фото документа
- Узнавать предметы: «что это?» с фотографией
- Читать рукописный текст: с сильными моделями вроде Qwen3-VL
- Код по скриншотам: покажите модели интерфейс и попросите воссоздать код
Доступные модели зрения
| Модель | Параметры | Мин. ОЗУ | Скорость | Подходит для |
|---|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Очень быстро (~7 с) | Быстрые вопросы по картинке на слабых устройствах |
| SmolVLM 2B | 2B | 4GB | Быстро (~8 с) | Общие задачи зрения |
| SmolVLM2 2.2B | 2.2B | 4GB | Быстро (~8–10 с) | Изображения и видео |
| Gemma 4 E2B | 2B (MoE) | 4GB | Средне (~10–15 с) | Лучшее зрение при 4 ГБ, режим размышления |
| Gemma 4 E4B | 4B (MoE) | 6GB | Средне (~12–18 с) | Самое сильное мышление со зрением, режим размышления |
| Qwen3-VL 2B | 2B | 4GB | Средне | Зрение на многих языках, режим размышления |
Модели Gemma 4 совмещают зрение и режим размышления: они рассуждают шаг за шагом о том, что видят, и это сильно повышает точность в сложных задачах.
Как пользоваться зрением
- Откройте чат в Off Grid AI
- Нажмите значок вложения → выберите Camera или Photo Library
- Выберите или снимите фото
- Напишите вопрос и отправьте
Модель получает изображение и ваш вопрос. Модели зрения при настройке сами скачивают файл mmproj (мультимодальный проектор); он уже учтён в указанном размере модели.
Примеры промптов
Разбор документов:
“Какие позиции в этом чеке? Посчитай итог.”
Техническое чтение:
“Объясни эту схему архитектуры.”
Рукописный текст:
“Перепиши текст с этого фото.”
Вопросы по картинке:
“Какая модель телефона на этом фото?”
Код по интерфейсу:
“Напиши код на React Native, который воссоздаст этот экран.”
Советы
Gemma 4 для сложных рассуждений: если модели нужно хорошо обдумать увиденное (прочитать график, решить задачу по фото), режим размышления Gemma 4 даёт гораздо лучший результат, чем более быстрая модель.
SmolVLM для быстрых задач: для простого описания или извлечения текста SmolVLM2 500M справляется на удивление хорошо и намного быстрее.
Качество снимка важно: размытые или неконтрастные фото сильно снижают точность. Для документов лучше ровный свет и съёмка строго сверху.