En esta página
- Qué hace de verdad la opción NPU
- Empieza con un modelo que ya funciona en la CPU
- Elige NPU y recarga el modelo
- Que responda no prueba que lo hiciera la NPU
- Cuándo volver atrás
- Compara una tarea normal después de la prueba sencilla
- Decide si te quedas con el experimento
- Prueba el hardware que tu teléfono sí soporta
Tu teléfono Android puede tener un procesador neuronal que una app de IA local sepa usar. Eso no significa que cualquier modelo o cualquier Android lo aproveche bien.
OGAM (Off Grid AI Mobile) incluye una opción experimental NPU (Beta) para dispositivos Qualcomm compatibles con modelos de texto locales compatibles. La eliges en los ajustes del modelo, recargas el modelo y pruebas una tarea pequeña antes de usarla para el trabajo diario.
¿Qué te gustaría hacer con Off Grid AI?
¿Hay una función o un uso que quieras que soportemos? Cuéntanos qué quieres hacer y qué dispositivo usas.
Escribe a [email protected], únete a nuestra comunidad de Slack o háblanos en Reddit.
Primero descarga la app y el modelo. Después, el modelo puede funcionar en el teléfono sin internet. Elegir la NPU no implica enviar tus prompts a ningún servicio de IA remoto.
Qué hace de verdad la opción NPU
La opción para modelos de texto usa la vía de aceleración Hexagon de Qualcomm. OGAM la muestra cuando la comprobación del dispositivo indica que es compatible. Que un teléfono se venda con un “chip de IA” no basta para que sea compatible con este runtime en concreto.
La opción dice Beta por una razón. La app indica que los modelos tipo Llama y Qwen son mejores candidatos para esta vía, mientras que otros modelos pueden volver a la CPU o dar resultados no válidos. Un dispositivo compatible y un modelo descargado son el punto de partida, no la prueba de que la NPU vaya a servir.
La opción llegó en OGAM 0.0.111. Es un ajuste básico de los modelos de texto, aparte de las funciones de voz de Pro.
Empieza con un modelo que ya funciona en la CPU
Elige un modelo de texto local modesto que quepa en la memoria de tu teléfono. Consigue una respuesta normal con él antes de cambiar la aceleración.
Usa una pregunta cuyo resultado sea fácil de comprobar, por ejemplo:
Ordena estos números de menor a mayor: 18, 4, 12, 7. Escribe solo la lista ordenada.
El orden esperado es 4, 7, 12, 18. Es una prueba sencilla de que la salida sirve, no una prueba completa de la calidad o la velocidad del modelo.
Mantén el mismo modelo y la misma petición cuando pruebes otro backend. Así es más fácil ver si un problema viene del ajuste nuevo y no de un modelo distinto.
Elige NPU y recarga el modelo
- Abre Settings → Model Settings y los controles de generación de texto.
- Despliega Advanced.
- En Inference Backend, elige NPU (Beta) si aparece.
- Revisa el ajuste NPU Layers. Empieza con el valor que ya tiene la app en lugar de forzar el máximo.
- Descarga y vuelve a cargar el modelo para que el cambio de backend se aplique.
- Envía la misma petición corta y revisa la respuesta.
Si no aparece NPU, la app no ofrece esta vía para ese dispositivo y esa configuración. Usa uno de los backends disponibles. Los modelos LiteRT tienen su propio selector de Acceleration con CPU y GPU; no es el mismo control de NPU.
Que responda no prueba que lo hiciera la NPU
OGAM puede reintentar la carga en la CPU cuando falla la vía acelerada. Así el modelo sigue funcionando, pero una respuesta correcta no demuestra por sí sola que la NPU procesara la petición.
Cuando necesites saber qué backend se usó de verdad, revisa la información de generación y depuración que ofrece la app. No tomes la preferencia elegida como un resultado medido del hardware.
No hay una mejora de velocidad única que se pueda prometer para todos los dispositivos y modelos. El tiempo de carga, la memoria, la calidad y la velocidad pueden cambiar cada uno por su lado. Usa el backend que te dé resultados útiles y estables en tu teléfono.
Cuándo volver atrás
Si el modelo no carga, devuelve texto corrupto o funciona peor después del cambio, elige CPU o la opción GPU disponible y recárgalo. Prueba un modelo compatible más pequeño antes de usar más memoria.
La NPU no elimina lo que el modelo necesita de memoria. Los pesos del modelo, el contexto de la conversación y los búferes de trabajo siguen ocupando espacio. Subir las capas no arregla un modelo demasiado grande.
La generación de imágenes tiene su propia vía de aceleración por dispositivo y sus propios paquetes de modelos. Elegir el backend NPU para texto no pasa toda la app a la NPU.
Compara una tarea normal después de la prueba sencilla
Ordenar cuatro números sirve para detectar salidas claramente rotas, pero no dice si el backend ayuda en tu trabajo habitual. Cuando esa prueba pase, usa una nota corta con una fecha y una pregunta pendiente. Pide un resumen de tres puntos que conserve las dos.
Pasa la misma nota con el backend que ya funciona y con la preferencia NPU. No cambies el modelo ni el contexto. Compara el texto que sale, si la respuesta termina y cuánto esperas hasta tener algo útil. Separa la primera carga del modelo de las peticiones siguientes.
Apunta el backend elegido, el ajuste de capas y lo que observaste. Si un cambio posterior rompe la salida, vuelve a la configuración que funcionaba. No cambies a la vez el modelo, el contexto y las capas NPU para luego adivinar cuál fue el problema.
Decide si te quedas con el experimento
Quédate con la opción NPU solo si da un comportamiento estable y útil en las tareas que probaste. Si la app vuelve a la CPU, apúntalo como una vuelta atrás, no como un éxito de la NPU. Si con la información disponible no se puede saber qué backend se usó, déjalo sin confirmar.
Un teléfono que muestra el control puede igualmente fallar con un modelo concreto. Vuelve a la vía de CPU o GPU que funciona, repite la misma petición corta y usa esa configuración para el trabajo normal. Aun así, el experimento respondió algo útil: si esa combinación de dispositivo, modelo y versión sirve hoy para tu tarea.
Prueba el hardware que tu teléfono sí soporta
Consigue OGAM para Android, deja funcionando un modelo local y prueba la opción NPU si tu dispositivo la ofrece. Ten a mano una comprobación sencilla y un backend que funcione, para decidir según lo que veas en tu teléfono.