PanduanModel dan performaHP3 menit baca

Di halaman ini
  1. Pilihan cepat berdasarkan RAM
  2. Katalog model lengkap
  3. Apa itu mode berpikir?
  4. Memahami Q4_K_M
  5. Batas aman RAM
  6. Pertanyaan umum
  7. Panduan lainnya
  8. Perbandingan Off Grid AI

Model mana yang sebaiknya saya pakai?

Rekomendasi ini membahas model yang memang ada di Off Grid AI, bukan saran umum, dan diambil langsung dari katalog model aplikasinya. Kuantisasi bawaan untuk semuanya adalah Q4_K_M.


Pilihan cepat berdasarkan RAM

RAM perangkatmu Model teks terbaik Model visi terbaik
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B atau Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Katalog model lengkap

Model teks

Model Parameter RAM minimum Konteks Cocok untuk
SmolLM2 360M 0.36B 3GB 8K Sangat ringan, khusus perangkat RAM kecil
Qwen 3.5 0.8B 0.8B 3GB 262K Jawaban cepat dan konteks panjang di HP murah
Qwen 3.5 2B 2B 4GB 262K Model serbaguna terbaik untuk perangkat 4 GB
SmolLM3 3B 3B 6GB 128K Dibuat untuk perangkat dengan sumber daya terbatas
Phi-4 Mini 3.8B 6GB 128K Penalaran, matematika, tugas terstruktur
Mistral 7B 7B 6GB 32K Cepat dan andal untuk segala keperluan
Qwen 3.5 9B 9B 8GB 262K Kualitas terbaik di perangkat

Model visi (bisa melihat gambar)

Model Parameter RAM minimum Cocok untuk
SmolVLM2 500M 0.5B 3GB Model visi mungil untuk perangkat RAM kecil
SmolVLM 2B 2B 4GB Tugas visi umum di HP kelas menengah
SmolVLM2 2.2B 2.2B 4GB Visi plus pemahaman video
Gemma 4 E2B 2B (MoE) 4GB Kualitas visi terbaik untuk perangkat 4 GB, mode berpikir
Gemma 4 E4B 4B (MoE) 6GB Penalaran dan visi paling kuat, mode berpikir

Gemma 4 memakai arsitektur Mixture-of-Experts (MoE). Jumlah parameter efektifnya lebih kecil dari kelihatannya, makanya muat di RAM yang lebih kecil dari dugaan tapi tetap memberi kualitas di atas kelasnya.


Apa itu mode berpikir?

Model Qwen 3.5 dan Gemma 4 punya mode berpikir: model mengurai masalah langkah demi langkah sebelum memberi jawaban akhir. Mirip prompting chain-of-thought, tapi sudah tertanam di modelnya.

Pakai untuk penalaran rumit, matematika, dan soal bertahap. Lewati untuk tanya jawab singkat, ringkasan, dan obrolan santai, karena lebih lambat.


Memahami Q4_K_M

Off Grid AI memakai kuantisasi Q4_K_M secara bawaan untuk semua model. Artinya:

  • sekitar 4,5 bit per bobot
  • kualitas turun sekitar 5 sampai 8% dibanding versi asli presisi penuh
  • sekitar 50 sampai 60% lebih kecil dari versi float16
  • direkomendasikan komunitas llama.cpp sebagai kompromi terbaik untuk HP

Jangan turun di bawah Q4_K_S kecuali penyimpananmu benar-benar mepet. Model Q2 dan Q3 kualitasnya turun dengan jelas.


Batas aman RAM

Off Grid AI otomatis mengecek apakah model muat dengan aman sebelum dimuat:

  • Perangkat RAM 4 GB: jatah model = 40% dari total RAM
  • Perangkat RAM 6 GB ke atas: jatah model = 60% dari total RAM
  • Model teks butuh RAM sekitar 1,5 kali ukurannya (cache KV dan aktivasi)
  • Model gambar butuh sekitar 1,5 kali di iOS (CoreML) dan 1,8 kali di Android (Vulkan)

Kalau sebuah model ditandai tidak cocok dengan perangkatmu, inilah alasannya.


Pertanyaan umum

Model apa yang terbaik untuk HP dengan RAM 4 GB? Qwen 3.5 2B (Q4_K_M). Untuk visi, Gemma 4 E2B.

Kuantisasi apa yang dipakai Off Grid AI secara bawaan? Q4_K_M secara bawaan, keseimbangan terbaik antara kualitas dan ukuran untuk HP.

Model apa yang paling bagus untuk penalaran di perangkat? Gemma 4 E4B (RAM 6 GB) atau Qwen 3.5 9B (RAM 8 GB). Keduanya punya mode berpikir.


Panduan lainnya

Perbandingan Off Grid AI

MEMBANTU?
KABAR DARI PEMBUAT