In questa pagina
- Cosa fa davvero l’opzione NPU
- Parti da un modello che funziona già sulla CPU
- Scegli NPU e ricarica il modello
- Una risposta non prova che abbia lavorato la NPU
- Quando tornare indietro
- Confronta un compito normale dopo il controllo semplice
- Decidi se tenere l’esperimento
- Prova l’hardware che il tuo telefono supporta davvero
Il tuo telefono Android potrebbe avere un processore neurale che un’app di IA locale sa usare. Questo non vuol dire che ogni modello o ogni Android riesca a sfruttarlo bene.
OGAM (Off Grid AI Mobile) include un’opzione sperimentale NPU (Beta) per i dispositivi Qualcomm supportati con modelli di testo locali compatibili. La scegli nelle impostazioni del modello, ricarichi il modello e provi un compito piccolo prima di usarla per il lavoro di tutti i giorni.
Cosa vorresti fare con Off Grid AI?
C’è una funzione o un uso che vorresti vedere supportato? Raccontaci cosa vuoi fare e che dispositivo usi.
Scrivi a [email protected], entra nella nostra community su Slack o parlaci su Reddit.
Prima scarica l’app e il modello. Dopo, il modello può girare sul telefono senza internet. Scegliere la NPU non comporta l’invio dei tuoi prompt a un servizio di IA remoto.
Cosa fa davvero l’opzione NPU
L’opzione per i modelli di testo usa la via di accelerazione Hexagon di Qualcomm. OGAM la mostra quando il controllo del dispositivo indica che è supportata. Un telefono venduto con un “chip IA” non basta a garantire la compatibilità con questo runtime.
L’opzione è segnata come Beta per un motivo. L’app indica i modelli tipo Llama e Qwen come i candidati migliori, mentre altri modelli possono tornare alla CPU o dare risultati non validi. Un dispositivo supportato e un modello scaricato sono il punto di partenza, non la prova che la NPU sarà utile.
L’opzione è arrivata con OGAM 0.0.111. È un’impostazione di base dei modelli di testo, separata dalle funzioni vocali di Pro.
Parti da un modello che funziona già sulla CPU
Scegli un modello di testo locale non troppo grande che stia nella memoria del telefono. Ottieni una risposta normale prima di cambiare l’accelerazione.
Usa una domanda con un risultato facile da verificare, per esempio:
Metti questi numeri in ordine crescente: 18, 4, 12, 7. Scrivi solo l’elenco ordinato.
L’ordine atteso è 4, 7, 12, 18. È un controllo semplice che l’output sia utilizzabile, non un test completo di qualità o velocità.
Tieni lo stesso modello e la stessa richiesta quando provi un altro backend. Così capisci più facilmente se un problema dipende dalla nuova impostazione e non da un modello diverso.
Scegli NPU e ricarica il modello
- Apri Settings → Model Settings e i controlli di generazione del testo.
- Espandi Advanced.
- In Inference Backend, scegli NPU (Beta) se c’è.
- Controlla l’impostazione NPU Layers. Parti dal valore che l’app ha già invece di forzare il massimo.
- Scarica e ricarica il modello perché il cambio di backend abbia effetto.
- Invia la stessa richiesta breve e controlla la risposta.
Se NPU non compare, l’app non offre questa via per quel dispositivo e quella configurazione. Usa uno dei backend disponibili. I modelli LiteRT hanno un loro selettore Acceleration con CPU e GPU: non è lo stesso controllo NPU.
Una risposta non prova che abbia lavorato la NPU
OGAM può riprovare sulla CPU quando la via accelerata non riesce. Il modello resta utilizzabile, ma una risposta corretta da sola non dimostra che la richiesta sia passata dalla NPU.
Quando ti serve sapere quale backend ha lavorato davvero, guarda le informazioni di generazione e di debug che l’app mette a disposizione. Non considerare la preferenza scelta come un risultato misurato dell’hardware.
Non c’è un aumento di velocità unico da promettere su tutti i dispositivi e modelli. Tempo di caricamento, memoria, qualità e velocità possono cambiare ognuno per conto suo. Usa il backend che dà risultati utili e stabili sul tuo telefono.
Quando tornare indietro
Se il modello non si carica, restituisce testo rovinato o funziona peggio dopo il cambio, scegli CPU o l’opzione GPU disponibile e ricaricalo. Prova un modello compatibile più piccolo prima di usare più memoria.
La NPU non elimina il fabbisogno di memoria del modello. Pesi, contesto della conversazione e buffer di lavoro occupano comunque spazio. Aumentare i layer non risolve un modello troppo grande.
La generazione di immagini ha una sua via di accelerazione per dispositivo e suoi pacchetti di modelli. Scegliere il backend NPU per il testo non sposta tutta l’app sulla NPU.
Confronta un compito normale dopo il controllo semplice
Ordinare quattro numeri serve a scoprire output chiaramente rotti, ma non dice se il backend aiuta nel tuo lavoro di sempre. Quando quel controllo passa, usa una nota breve con una data e una domanda aperta. Chiedi un riassunto in tre punti che le conservi entrambe.
Fai girare la stessa nota con il backend che già funziona e con la preferenza NPU. Non cambiare modello né contesto. Confronta il testo, se la risposta arriva in fondo e quanto aspetti per avere qualcosa di utile. Tieni separato il primo caricamento del modello dalle richieste successive.
Annota il backend scelto, l’impostazione dei layer e cosa hai osservato. Se un cambio successivo rompe l’output, torna alla configurazione che funzionava. Non cambiare insieme modello, contesto e layer NPU per poi indovinare quale cambio ha contato.
Decidi se tenere l’esperimento
Tieni l’opzione NPU solo se dà un comportamento stabile e utile nei compiti che hai provato. Se l’app torna alla CPU, segnalo come un ritorno, non come un successo della NPU. Se con le informazioni disponibili non si capisce quale backend abbia lavorato, lascia il punto non confermato.
Un telefono che mostra il controllo può comunque avere problemi con un modello specifico. Torna alla via CPU o GPU che funziona, ripeti la stessa richiesta breve e usa quella configurazione per il lavoro normale. L’esperimento ha comunque risposto a una domanda utile: se questa combinazione di dispositivo, modello e versione oggi fa al caso tuo.
Prova l’hardware che il tuo telefono supporta davvero
Scarica OGAM per Android, fai funzionare un modello locale e prova l’opzione NPU se il dispositivo la offre. Tieni a portata di mano un controllo semplice e un backend che funziona, così decidi in base al risultato sul tuo telefono.