Nesta página
Seu celular Android pode ter um processador neural que um app de IA local consegue usar. Isso não quer dizer que qualquer modelo ou qualquer Android vá aproveitá-lo bem.
O OGAM (Off Grid AI Mobile) traz uma opção experimental NPU (Beta) para aparelhos Qualcomm compatíveis rodando modelos de texto locais compatíveis. Você escolhe nas configurações do modelo, recarrega o modelo e testa uma tarefa pequena antes de usar no dia a dia.
O que você gostaria de fazer com o Off Grid AI?
Tem um recurso ou um uso que você quer que a gente suporte? Conta pra gente o que você quer fazer e qual aparelho você usa.
Escreva para [email protected], entre na nossa comunidade no Slack ou fale com a gente no Reddit.
Primeiro baixe o app e o modelo. Depois disso, o modelo roda no celular sem internet. Escolher a NPU não envolve mandar seus prompts para nenhum serviço de IA remoto.
O que a opção NPU faz de verdade
A opção para modelos de texto usa o caminho de aceleração Hexagon da Qualcomm. O OGAM mostra essa opção quando a verificação do aparelho indica suporte. Um celular vendido com “chip de IA” não basta para ser compatível com esse runtime específico.
A opção diz Beta por um motivo. O app indica que modelos no estilo Llama e Qwen são melhores candidatos para esse caminho, enquanto outros modelos podem voltar para a CPU ou gerar resultados inválidos. Um aparelho compatível e um modelo baixado são o ponto de partida, não a prova de que a NPU vai ajudar.
A opção chegou no OGAM 0.0.111. É uma configuração básica dos modelos de texto, separada dos recursos de voz do Pro.
Comece com um modelo que já funciona na CPU
Escolha um modelo de texto local modesto que caiba na memória do celular. Tenha uma resposta normal com ele antes de mudar a aceleração.
Use uma pergunta com resultado fácil de conferir, por exemplo:
Coloque estes números em ordem crescente: 18, 4, 12, 7. Escreva só a lista ordenada.
A ordem esperada é 4, 7, 12, 18. É um teste simples de que a saída presta, não um teste completo de qualidade ou velocidade do modelo.
Mantenha o mesmo modelo e o mesmo pedido quando testar outro backend. Fica mais fácil ver se um problema veio da configuração nova, e não de um modelo diferente.
Escolha NPU e recarregue o modelo
- Abra Settings → Model Settings e os controles de geração de texto.
- Abra Advanced.
- Em Inference Backend, escolha NPU (Beta) se aparecer.
- Confira o ajuste NPU Layers. Comece com o valor que o app já tem, em vez de forçar o máximo.
- Descarregue e carregue o modelo de novo para a mudança de backend valer.
- Mande o mesmo pedido curto e confira a resposta.
Se a NPU não aparecer, o app não oferece esse caminho para esse aparelho e essa configuração. Use um dos backends oferecidos. Os modelos LiteRT têm o próprio seletor de Acceleration, com CPU e GPU; não é o mesmo controle de NPU.
Uma resposta não prova que foi a NPU
O OGAM pode tentar de novo na CPU quando o caminho acelerado falha. Assim o modelo continua funcionando, mas uma resposta certa sozinha não prova que a NPU processou o pedido.
Quando precisar saber qual backend rodou de verdade, olhe as informações de geração e de depuração que o app mostra. Não trate a preferência escolhida como um resultado medido do hardware.
Não existe um ganho de velocidade único para prometer em todos os aparelhos e modelos. Tempo de carregamento, uso de memória, qualidade e velocidade podem mudar cada um por conta própria. Use o backend que der resultados úteis e estáveis no seu celular.
Quando voltar atrás
Se o modelo não carregar, devolver texto corrompido ou ficar pior depois da mudança, escolha CPU ou a opção GPU oferecida e recarregue. Teste um modelo compatível menor antes de usar mais memória.
A NPU não acaba com a necessidade de memória do modelo. Os pesos, o contexto da conversa e os buffers de trabalho continuam precisando de espaço. Aumentar as camadas não resolve um modelo grande demais.
A geração de imagens tem um caminho de aceleração próprio para cada aparelho e pacotes de modelos próprios. Escolher o backend NPU para texto não muda o app inteiro para a NPU.
Compare uma tarefa normal depois do teste simples
Ordenar quatro números serve para pegar saídas claramente quebradas, mas não diz se o backend ajuda no seu trabalho de sempre. Depois que esse teste passar, use uma anotação curta com uma data e uma pergunta em aberto. Peça um resumo em três tópicos que preserve as duas.
Rode a mesma anotação com o backend que já funciona e com a preferência NPU. Não mude o modelo nem o contexto. Compare o texto, se a resposta termina e quanto tempo você espera até ter algo útil. Separe o primeiro carregamento do modelo dos pedidos seguintes.
Anote o backend escolhido, o ajuste de camadas e o que você viu. Se uma mudança depois quebrar a saída, volte para a configuração que funcionava. Não mude modelo, contexto e camadas NPU ao mesmo tempo para depois tentar adivinhar qual mudança pesou.
Decida se vale manter o teste
Mantenha a opção NPU só se ela der um comportamento estável e útil nas tarefas que você testou. Se o app voltar para a CPU, anote como uma volta, não como sucesso da NPU. Se não der para saber qual backend rodou com as informações disponíveis, deixe sem confirmar.
Um celular que mostra o controle ainda pode falhar com um modelo específico. Volte para o caminho de CPU ou GPU que funciona, repita o mesmo pedido curto e use essa configuração no dia a dia. Mesmo assim, o teste respondeu algo útil: se essa combinação de aparelho, modelo e versão serve hoje para a sua tarefa.
Teste o hardware que o seu celular suporta de verdade
Baixe o OGAM para Android, deixe um modelo local funcionando e teste a opção NPU se o aparelho oferecer. Tenha um teste simples e um backend que funciona à mão, para decidir pelo resultado no seu celular.