Kali ini saya akan mencoba mengukur komputer saya dengan prosesor AMD Ryzen 3400G untuk menjalankan beberapa model LLM yang ada. Sehingga bisa menjadi acuan bagi teman-teman yang ingin mengadakan komputer untuk menjalankan model LLM juga.
1. LLama 2 7B dengan kuantisasi Q4_0
Model pertama yang diuji adalah LLama 2 7B dengan kuantisasi Q4_0 yang paling sering digunakan untuk mengukur kecepatan hardware menjalakan Llama.cpp. Model ini adalah jenis dense dengan total parameter 7 milyar membuatnya termasuk model yang cukup cerdas di zamannya.
Komputer saya berhasil menjalankan model ini dengan lancar dengan kecepatan token generation di angka 11,02 token/detik. Kecepatan ini cukup nyaman untuk sekedar chating asal jangan mengharapkan komputer untuk membalas pesan dengan secepat kilat.
2. Gemma 4 - 26A4B dengan kuantisasi UD_Q_4_K_XL
Model berikutnya yang diuji adalah Gemma 4 26A4B dengan kuantisasi UD_Q_4_K_XL. Model ini adalah jenis mixture of expert dan memiliki total 26 milyar parameter dengan paramter aktif sebanyak 4 milyar. Model jenis ini memiliki parameter yang sangat banyak tetapi bisa dijalankan dengan ringan pada komputer karena total parameter yang aktif hanya sebagian saja.
Pengujian di komputer saya menghasilkan kecepatan token generation di 11,09 token/detik. Kecepatan ini lumayan nyaman untuk pemakaian chatting dan masih lumayan bisa digunakan sebagai agen AI meskipun agak lambat.
3. Qwen 3.6 35A3B dengan kutantisasi UD_Q_4_K_XL
Model terakhir yang diuji adalah Qwen 3.6 35A3B dengan kuantisasi UD_Q4_K_XL. Model ini adalah salah satu favorit karena memiliki cukup banyak parameter yaitu 35 milyar tetapi cukup ringan untuk dijalankan pada komputer lokal karena parameter aktif hanya 3 milyar saja.
Hasil pengujian di komputer saya mendapatkan kecepatan token generation di 12,41 token/detik. Kecepatan ini lumayan nyaman untuk pemakaian chatting dan masih lumayan bisa digunakan sebagai agen AI meskipun agak lambat.
Kesimpulan
Dari hasil pengujian menunjukkan bahwa iGPU dari AMD Ryzen 3400G bisa menjalankan LLM model dengan kecepatan yang cukup bagus di kelasnya untuk model dengan ukuran kecil maupun model MoE yang cukup besar dengan aktif parameter yang tidak terlalu banyak.
Dengan perkembangan model LLM yang mendukung agentic AI sekarang model lokal juga bisa digunakan untuk menjalankan agen AI. Semoga berikutnya bisa mereview penggunaan model lokal ini sebagai agen AI.
Sekian dulu artikel ini semoga bermanfaat.
