Na tej stronie
Jaki model wybrać?
Te rekomendacje dotyczą modeli, które naprawdę są w Off Grid AI, a nie ogólnych sugestii, i pochodzą prosto z katalogu modeli aplikacji. Domyślna kwantyzacja to wszędzie Q4_K_M.
Szybki wybór według RAM
| RAM twojego urządzenia | Najlepszy model tekstowy | Najlepszy model wizyjny |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B lub Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
Pełny katalog modeli
Modele tekstowe
| Model | Parametry | Min. RAM | Kontekst | Najlepszy do |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Bardzo lekki, tylko dla urządzeń z małą ilością RAM |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Szybkie odpowiedzi i długi kontekst na tańszych urządzeniach |
| Qwen 3.5 2B | 2B | 4GB | 262K | Najlepszy uniwersalny model dla urządzeń z 4 GB |
| SmolLM3 3B | 3B | 6GB | 128K | Stworzony dla urządzeń o ograniczonych zasobach |
| Phi-4 Mini | 3.8B | 6GB | 128K | Rozumowanie, matematyka, zadania ustrukturyzowane |
| Mistral 7B | 7B | 6GB | 32K | Szybki i niezawodny do wszystkiego |
| Qwen 3.5 9B | 9B | 8GB | 262K | Najlepsza jakość na urządzeniu |
Modele wizyjne (widzą obrazy)
| Model | Parametry | Min. RAM | Najlepszy do |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Malutki model wizyjny dla urządzeń z małą ilością RAM |
| SmolVLM 2B | 2B | 4GB | Ogólne zadania z obrazami na średniakach |
| SmolVLM2 2.2B | 2.2B | 4GB | Obrazy i rozumienie wideo |
| Gemma 4 E2B | 2B (MoE) | 4GB | Najlepsza jakość obrazu dla urządzeń z 4 GB, tryb myślenia |
| Gemma 4 E4B | 4B (MoE) | 6GB | Najmocniejsze rozumowanie i obrazy, tryb myślenia |
Gemma 4 korzysta z architektury Mixture-of-Experts (MoE). Efektywna liczba parametrów jest mniejsza, niż się wydaje, dlatego model mieści się w mniejszej ilości RAM, niż można by sądzić, a mimo to daje jakość powyżej swojej klasy.
Czym jest tryb myślenia?
Modele Qwen 3.5 i Gemma 4 mają tryb myślenia: model rozwiązuje problem krok po kroku, zanim poda ostateczną odpowiedź. To coś jak prompting typu chain-of-thought, tylko wbudowany w model.
Używaj go do złożonego rozumowania, matematyki i zadań wieloetapowych. Pomiń go przy szybkich pytaniach, streszczeniach i luźnej rozmowie, bo działa wolniej.
Co oznacza Q4_K_M
Off Grid AI domyślnie używa kwantyzacji Q4_K_M dla wszystkich modeli. To znaczy:
- około 4,5 bita na wagę
- około 5 do 8% utraty jakości względem oryginału w pełnej precyzji
- około 50 do 60% mniej niż wersja float16
- polecana przez społeczność llama.cpp jako najlepszy kompromis na telefon
Nie schodź poniżej Q4_K_S, chyba że naprawdę brakuje ci miejsca. Modele Q2 i Q3 wyraźnie tracą na jakości.
Progi bezpieczeństwa RAM
Off Grid AI przed wczytaniem automatycznie sprawdza, czy model bezpiecznie się zmieści:
- Urządzenia z 4 GB RAM: budżet modelu = 40% całkowitej pamięci RAM
- Urządzenia z 6 GB lub więcej: budżet modelu = 60% całkowitej pamięci RAM
- Modele tekstowe potrzebują około 1,5 raza tyle RAM, ile ważą (pamięć KV i aktywacje)
- Modele obrazowe potrzebują około 1,5 raza na iOS (CoreML) i 1,8 raza na Androidzie (Vulkan)
Jeśli model jest oznaczony jako niezgodny z twoim urządzeniem, to właśnie dlatego.
Najczęstsze pytania
Jaki model jest najlepszy na telefon z 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Do obrazów Gemma 4 E2B.
Jakiej kwantyzacji domyślnie używa Off Grid AI? Domyślnie Q4_K_M, najlepszy kompromis między jakością a rozmiarem na telefonie.
Jaki model najlepiej rozumuje na urządzeniu? Gemma 4 E4B (6 GB RAM) albo Qwen 3.5 9B (8 GB RAM). Oba mają tryb myślenia.
Więcej poradników
- Jak uruchamiać LLM lokalnie na telefonie z Androidem w 2026
- Jak uruchamiać LLM lokalnie na iPhonie w 2026
- AI wizyjne: analiza obrazów i dokumentów