In questa pagina
Quale modello usare?
Questi consigli riguardano i modelli presenti in Off Grid AI, non suggerimenti generici, e vengono direttamente dal catalogo modelli dell’app. La quantizzazione di base è Q4_K_M per tutti.
Scelta rapida in base alla RAM
| RAM del tuo dispositivo | Miglior modello di testo | Miglior modello di visione |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B o Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
Il catalogo completo
Modelli di testo
| Modello | Parametri | RAM minima | Contesto | Ideale per |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Leggerissimo, solo per dispositivi con poca RAM |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Risposte rapide e contesto lungo sui dispositivi economici |
| Qwen 3.5 2B | 2B | 4GB | 262K | Il miglior modello generico per i dispositivi da 4 GB |
| SmolLM3 3B | 3B | 6GB | 128K | Pensato per dispositivi con risorse limitate |
| Phi-4 Mini | 3.8B | 6GB | 128K | Ragionamento, matematica, compiti strutturati |
| Mistral 7B | 7B | 6GB | 32K | Veloce e affidabile per tutto |
| Qwen 3.5 9B | 9B | 8GB | 262K | La qualità migliore sul dispositivo |
Modelli di visione (vedono le immagini)
| Modello | Parametri | RAM minima | Ideale per |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Modello di visione minuscolo per dispositivi con poca RAM |
| SmolVLM 2B | 2B | 4GB | Compiti di visione generici sui medio gamma |
| SmolVLM2 2.2B | 2.2B | 4GB | Visione e comprensione dei video |
| Gemma 4 E2B | 2B (MoE) | 4GB | La visione migliore per i dispositivi da 4 GB, modalità ragionamento |
| Gemma 4 E4B | 4B (MoE) | 6GB | Il ragionamento e la visione più forti, modalità ragionamento |
Gemma 4 usa un’architettura Mixture-of-Experts (MoE). Il numero effettivo di parametri è più basso di quanto sembri, per questo sta in meno RAM del previsto e offre comunque una qualità sopra la sua categoria.
Cos’è la modalità ragionamento?
I modelli Qwen 3.5 e Gemma 4 hanno la modalità ragionamento: il modello affronta il problema passo dopo passo prima di dare la risposta finale. Simile al prompting chain-of-thought, ma integrato nel modello.
Usala per ragionamenti complessi, matematica e problemi a più passaggi. Lasciala perdere per domande veloci, riassunti e chiacchiere, perché è più lenta.
Capire Q4_K_M
Off Grid AI usa di base la quantizzazione Q4_K_M per tutti i modelli. Significa:
- circa 4,5 bit per peso
- circa il 5-8% di qualità in meno rispetto all’originale a precisione piena
- circa il 50-60% più piccolo della versione float16
- consigliato dalla community di llama.cpp come il miglior compromesso per il telefono
Non scendere sotto Q4_K_S se non hai davvero poco spazio. I modelli Q2 e Q3 perdono qualità in modo evidente.
Soglie di sicurezza della RAM
Off Grid AI controlla in automatico se un modello ci sta in sicurezza prima di caricarlo:
- Dispositivi con 4 GB di RAM: budget del modello = 40% della RAM totale
- Dispositivi con 6 GB o più: budget del modello = 60% della RAM totale
- I modelli di testo richiedono circa 1,5 volte la loro dimensione in RAM (cache KV e attivazioni)
- I modelli di immagine richiedono circa 1,5 volte su iOS (CoreML) e 1,8 volte su Android (Vulkan)
Se un modello risulta incompatibile con il tuo dispositivo, il motivo è questo.
Domande frequenti
Qual è il modello migliore per un telefono con 4 GB di RAM? Qwen 3.5 2B (Q4_K_M). Per la visione, Gemma 4 E2B.
Quale quantizzazione usa Off Grid AI di base? Q4_K_M di base, il miglior equilibrio tra qualità e dimensioni sul telefono.
Qual è il modello migliore per ragionare sul dispositivo? Gemma 4 E4B (6 GB di RAM) o Qwen 3.5 9B (8 GB di RAM). Entrambi hanno la modalità ragionamento.
Altre guide
- Come eseguire LLM in locale sul tuo telefono Android nel 2026
- Come eseguire LLM in locale sul tuo iPhone nel 2026
- IA di visione: analizza immagini e documenti