Op deze pagina
- Wat de NPU-optie echt doet
- Begin met een model dat al werkt op de CPU
- Kies NPU en laad het model opnieuw
- Een antwoord bewijst niet dat de NPU het deed
- Wanneer je terugschakelt
- Vergelijk een gewone taak na de eenvoudige controle
- Besluit of je het experiment houdt
- Probeer de hardware die je telefoon echt ondersteunt
Je Android-telefoon heeft misschien een neurale processor die een lokale AI-app kan gebruiken. Dat betekent niet dat elk model of elk Android-toestel er goed gebruik van kan maken.
OGAM (Off Grid AI Mobile) heeft een experimentele optie NPU (Beta) voor ondersteunde Qualcomm-toestellen met geschikte lokale tekstmodellen. Je kiest hem in de modelinstellingen, laadt het model opnieuw en test een kleine taak voordat je hem voor dagelijks werk gebruikt.
Wat zou je met Off Grid AI willen doen?
Is er een functie of gebruik dat je graag ondersteund ziet? Vertel ons wat je wilt doen en welk toestel je gebruikt.
Mail naar [email protected], word lid van onze Slack-community of praat met ons op Reddit.
Download eerst de app en het model. Daarna kan het model zonder internet op je telefoon draaien. Kiezen voor de NPU betekent niet dat je prompts naar een externe AI-dienst gaan.
Wat de NPU-optie echt doet
De optie voor tekstmodellen gebruikt de Hexagon-versnelling van Qualcomm. OGAM toont hem als de toestelcontrole aangeeft dat hij ondersteund wordt. Een telefoon die wordt verkocht met een “AI-chip” is niet genoeg om te weten of hij met deze runtime werkt.
De optie heet niet voor niets Beta. De app noemt modellen in de stijl van Llama en Qwen betere kandidaten, terwijl andere modellen kunnen terugvallen op de CPU of ongeldige uitvoer geven. Een ondersteund toestel en een gedownload model zijn het begin, geen bewijs dat de NPU iets oplevert.
De optie zit in OGAM 0.0.111. Het is een basisinstelling voor tekstmodellen, los van de spraakfuncties van Pro.
Begin met een model dat al werkt op de CPU
Kies een bescheiden lokaal tekstmodel dat in het geheugen van je telefoon past. Krijg er één gewoon antwoord mee voordat je de versnelling verandert.
Gebruik een vraag waarvan je het antwoord makkelijk kunt controleren, bijvoorbeeld:
Zet deze getallen van klein naar groot: 18, 4, 12, 7. Geef alleen de gesorteerde lijst.
De verwachte volgorde is 4, 7, 12, 18. Dit is een eenvoudige controle of de uitvoer bruikbaar is, geen volledige test van kwaliteit of snelheid.
Houd hetzelfde model en dezelfde vraag aan als je een andere backend probeert. Dan zie je makkelijker of een probleem door de nieuwe instelling komt en niet door een ander model.
Kies NPU en laad het model opnieuw
- Open Settings → Model Settings en de instellingen voor tekstgeneratie.
- Klap Advanced open.
- Kies bij Inference Backend voor NPU (Beta) als die er staat.
- Bekijk de instelling NPU Layers. Begin met de waarde die de app al heeft in plaats van de hoogste te forceren.
- Ontlaad het model en laad het opnieuw, zodat de nieuwe backend actief wordt.
- Stuur dezelfde korte vraag en controleer het antwoord.
Staat NPU er niet bij, dan biedt de app deze route niet aan voor dat toestel en die configuratie. Gebruik dan een van de aangeboden backends. LiteRT-modellen hebben hun eigen keuze Acceleration met CPU en GPU; dat is niet dezelfde NPU-instelling.
Een antwoord bewijst niet dat de NPU het deed
OGAM kan het opnieuw proberen op de CPU als de versnelde route mislukt. Zo blijft het model bruikbaar, maar een goed antwoord alleen bewijst niet dat de NPU de vraag verwerkte.
Wil je weten welke backend echt draaide, kijk dan naar de generatie- en debuginformatie die de app toont. Zie de gekozen voorkeur niet als een gemeten resultaat van de hardware.
Er is geen vaste snelheidswinst te beloven voor alle toestellen en modellen. Laadtijd, geheugengebruik, kwaliteit en snelheid kunnen elk los van elkaar veranderen. Gebruik de backend die op jouw telefoon nuttige en stabiele resultaten geeft.
Wanneer je terugschakelt
Laadt het model niet, geeft het onleesbare tekst of werkt het slechter na de wijziging, kies dan CPU of de aangeboden GPU-optie en laad het opnieuw. Probeer een kleiner geschikt model voordat je meer geheugen gebruikt.
De NPU haalt de geheugenbehoefte van een model niet weg. De gewichten, de context van het gesprek en de werkbuffers hebben nog steeds ruimte nodig. Meer lagen instellen lost een te groot model niet op.
Afbeeldingen maken heeft een eigen versnellingsroute per toestel en eigen modelpakketten. De NPU-backend voor tekst kiezen zet niet de hele app op de NPU.
Vergelijk een gewone taak na de eenvoudige controle
Vier getallen sorteren is handig om duidelijk kapotte uitvoer te vinden, maar zegt niet of de backend helpt bij je gewone werk. Is die test geslaagd, gebruik dan een korte notitie met een datum en een open vraag. Vraag om een samenvatting in drie punten die beide bewaart.
Laat dezelfde notitie lopen met de backend die al werkt en met de NPU-voorkeur. Verander het model en de context niet. Vergelijk de tekst, of het antwoord helemaal afkomt en hoe lang je wacht op iets bruikbaars. Houd de eerste keer laden los van de vragen daarna.
Noteer de gekozen backend, de lageninstelling en wat je zag. Maakt een latere wijziging de uitvoer kapot, ga dan terug naar de instelling die werkte. Verander niet tegelijk het model, de context en de NPU-lagen om daarna te raden wat het verschil maakte.
Besluit of je het experiment houdt
Houd de NPU-optie alleen als hij stabiel en nuttig werkt bij de taken die je hebt geprobeerd. Valt de app terug op de CPU, noteer dat dan als terugval en niet als NPU-succes. Kun je met de beschikbare informatie niet vaststellen welke backend draaide, laat dat punt dan onbevestigd.
Een telefoon die de optie toont, kan toch problemen hebben met een bepaald model. Ga terug naar de CPU- of GPU-route die werkt, test dezelfde korte vraag en gebruik die instelling voor gewoon werk. Het experiment heeft dan toch iets nuttigs opgeleverd: of deze combinatie van toestel, model en versie nu werkt voor jouw taak.
Probeer de hardware die je telefoon echt ondersteunt
Download OGAM voor Android, zorg dat één lokaal model werkt en probeer de NPU-optie als je toestel die biedt. Houd een eenvoudige controle en een werkende backend achter de hand, zodat je kiest op basis van wat je op je eigen telefoon ziet.