PoradnikModele i wydajnośćTelefon3 min czytania

Na tej stronie
  1. Szybki wybór według RAM
  2. Pełny katalog modeli
  3. Czym jest tryb myślenia?
  4. Co oznacza Q4_K_M
  5. Progi bezpieczeństwa RAM
  6. Najczęstsze pytania
  7. Więcej poradników
  8. Off Grid AI w porównaniu

Jaki model wybrać?

Te rekomendacje dotyczą modeli, które naprawdę są w Off Grid AI, a nie ogólnych sugestii, i pochodzą prosto z katalogu modeli aplikacji. Domyślna kwantyzacja to wszędzie Q4_K_M.


Szybki wybór według RAM

RAM twojego urządzenia Najlepszy model tekstowy Najlepszy model wizyjny
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B lub Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Pełny katalog modeli

Modele tekstowe

Model Parametry Min. RAM Kontekst Najlepszy do
SmolLM2 360M 0.36B 3GB 8K Bardzo lekki, tylko dla urządzeń z małą ilością RAM
Qwen 3.5 0.8B 0.8B 3GB 262K Szybkie odpowiedzi i długi kontekst na tańszych urządzeniach
Qwen 3.5 2B 2B 4GB 262K Najlepszy uniwersalny model dla urządzeń z 4 GB
SmolLM3 3B 3B 6GB 128K Stworzony dla urządzeń o ograniczonych zasobach
Phi-4 Mini 3.8B 6GB 128K Rozumowanie, matematyka, zadania ustrukturyzowane
Mistral 7B 7B 6GB 32K Szybki i niezawodny do wszystkiego
Qwen 3.5 9B 9B 8GB 262K Najlepsza jakość na urządzeniu

Modele wizyjne (widzą obrazy)

Model Parametry Min. RAM Najlepszy do
SmolVLM2 500M 0.5B 3GB Malutki model wizyjny dla urządzeń z małą ilością RAM
SmolVLM 2B 2B 4GB Ogólne zadania z obrazami na średniakach
SmolVLM2 2.2B 2.2B 4GB Obrazy i rozumienie wideo
Gemma 4 E2B 2B (MoE) 4GB Najlepsza jakość obrazu dla urządzeń z 4 GB, tryb myślenia
Gemma 4 E4B 4B (MoE) 6GB Najmocniejsze rozumowanie i obrazy, tryb myślenia

Gemma 4 korzysta z architektury Mixture-of-Experts (MoE). Efektywna liczba parametrów jest mniejsza, niż się wydaje, dlatego model mieści się w mniejszej ilości RAM, niż można by sądzić, a mimo to daje jakość powyżej swojej klasy.


Czym jest tryb myślenia?

Modele Qwen 3.5 i Gemma 4 mają tryb myślenia: model rozwiązuje problem krok po kroku, zanim poda ostateczną odpowiedź. To coś jak prompting typu chain-of-thought, tylko wbudowany w model.

Używaj go do złożonego rozumowania, matematyki i zadań wieloetapowych. Pomiń go przy szybkich pytaniach, streszczeniach i luźnej rozmowie, bo działa wolniej.


Co oznacza Q4_K_M

Off Grid AI domyślnie używa kwantyzacji Q4_K_M dla wszystkich modeli. To znaczy:

  • około 4,5 bita na wagę
  • około 5 do 8% utraty jakości względem oryginału w pełnej precyzji
  • około 50 do 60% mniej niż wersja float16
  • polecana przez społeczność llama.cpp jako najlepszy kompromis na telefon

Nie schodź poniżej Q4_K_S, chyba że naprawdę brakuje ci miejsca. Modele Q2 i Q3 wyraźnie tracą na jakości.


Progi bezpieczeństwa RAM

Off Grid AI przed wczytaniem automatycznie sprawdza, czy model bezpiecznie się zmieści:

  • Urządzenia z 4 GB RAM: budżet modelu = 40% całkowitej pamięci RAM
  • Urządzenia z 6 GB lub więcej: budżet modelu = 60% całkowitej pamięci RAM
  • Modele tekstowe potrzebują około 1,5 raza tyle RAM, ile ważą (pamięć KV i aktywacje)
  • Modele obrazowe potrzebują około 1,5 raza na iOS (CoreML) i 1,8 raza na Androidzie (Vulkan)

Jeśli model jest oznaczony jako niezgodny z twoim urządzeniem, to właśnie dlatego.


Najczęstsze pytania

Jaki model jest najlepszy na telefon z 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Do obrazów Gemma 4 E2B.

Jakiej kwantyzacji domyślnie używa Off Grid AI? Domyślnie Q4_K_M, najlepszy kompromis między jakością a rozmiarem na telefonie.

Jaki model najlepiej rozumuje na urządzeniu? Gemma 4 E4B (6 GB RAM) albo Qwen 3.5 9B (8 GB RAM). Oba mają tryb myślenia.


Więcej poradników

Off Grid AI w porównaniu

CZY TO POMOGŁO?
WIEŚCI OD TWÓRCY