GuidaModelli e prestazioniTelefono3 min di lettura

In questa pagina
  1. Scelta rapida in base alla RAM
  2. Il catalogo completo
  3. Cos’è la modalità ragionamento?
  4. Capire Q4_K_M
  5. Soglie di sicurezza della RAM
  6. Domande frequenti
  7. Altre guide
  8. Off Grid AI a confronto

Quale modello usare?

Questi consigli riguardano i modelli presenti in Off Grid AI, non suggerimenti generici, e vengono direttamente dal catalogo modelli dell’app. La quantizzazione di base è Q4_K_M per tutti.


Scelta rapida in base alla RAM

RAM del tuo dispositivo Miglior modello di testo Miglior modello di visione
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B o Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Il catalogo completo

Modelli di testo

Modello Parametri RAM minima Contesto Ideale per
SmolLM2 360M 0.36B 3GB 8K Leggerissimo, solo per dispositivi con poca RAM
Qwen 3.5 0.8B 0.8B 3GB 262K Risposte rapide e contesto lungo sui dispositivi economici
Qwen 3.5 2B 2B 4GB 262K Il miglior modello generico per i dispositivi da 4 GB
SmolLM3 3B 3B 6GB 128K Pensato per dispositivi con risorse limitate
Phi-4 Mini 3.8B 6GB 128K Ragionamento, matematica, compiti strutturati
Mistral 7B 7B 6GB 32K Veloce e affidabile per tutto
Qwen 3.5 9B 9B 8GB 262K La qualità migliore sul dispositivo

Modelli di visione (vedono le immagini)

Modello Parametri RAM minima Ideale per
SmolVLM2 500M 0.5B 3GB Modello di visione minuscolo per dispositivi con poca RAM
SmolVLM 2B 2B 4GB Compiti di visione generici sui medio gamma
SmolVLM2 2.2B 2.2B 4GB Visione e comprensione dei video
Gemma 4 E2B 2B (MoE) 4GB La visione migliore per i dispositivi da 4 GB, modalità ragionamento
Gemma 4 E4B 4B (MoE) 6GB Il ragionamento e la visione più forti, modalità ragionamento

Gemma 4 usa un’architettura Mixture-of-Experts (MoE). Il numero effettivo di parametri è più basso di quanto sembri, per questo sta in meno RAM del previsto e offre comunque una qualità sopra la sua categoria.


Cos’è la modalità ragionamento?

I modelli Qwen 3.5 e Gemma 4 hanno la modalità ragionamento: il modello affronta il problema passo dopo passo prima di dare la risposta finale. Simile al prompting chain-of-thought, ma integrato nel modello.

Usala per ragionamenti complessi, matematica e problemi a più passaggi. Lasciala perdere per domande veloci, riassunti e chiacchiere, perché è più lenta.


Capire Q4_K_M

Off Grid AI usa di base la quantizzazione Q4_K_M per tutti i modelli. Significa:

  • circa 4,5 bit per peso
  • circa il 5-8% di qualità in meno rispetto all’originale a precisione piena
  • circa il 50-60% più piccolo della versione float16
  • consigliato dalla community di llama.cpp come il miglior compromesso per il telefono

Non scendere sotto Q4_K_S se non hai davvero poco spazio. I modelli Q2 e Q3 perdono qualità in modo evidente.


Soglie di sicurezza della RAM

Off Grid AI controlla in automatico se un modello ci sta in sicurezza prima di caricarlo:

  • Dispositivi con 4 GB di RAM: budget del modello = 40% della RAM totale
  • Dispositivi con 6 GB o più: budget del modello = 60% della RAM totale
  • I modelli di testo richiedono circa 1,5 volte la loro dimensione in RAM (cache KV e attivazioni)
  • I modelli di immagine richiedono circa 1,5 volte su iOS (CoreML) e 1,8 volte su Android (Vulkan)

Se un modello risulta incompatibile con il tuo dispositivo, il motivo è questo.


Domande frequenti

Qual è il modello migliore per un telefono con 4 GB di RAM? Qwen 3.5 2B (Q4_K_M). Per la visione, Gemma 4 E2B.

Quale quantizzazione usa Off Grid AI di base? Q4_K_M di base, il miglior equilibrio tra qualità e dimensioni sul telefono.

Qual è il modello migliore per ragionare sul dispositivo? Gemma 4 E4B (6 GB di RAM) o Qwen 3.5 9B (8 GB di RAM). Entrambi hanno la modalità ragionamento.


Altre guide

Off Grid AI a confronto

TI È STATO UTILE?
NOVITÀ DAL CREATORE