Ryzen AI Max+ 395 ile ASUS üzerinde yerel sohbet denemesi
Qwen3.5-9B ile günlük Türkçe işler: üç kurulumda bekleme süreleri, hesap hataları ve verilen bilgiye bağlı cevaplar.
Cihaz ve model
- ASUS ProArt · Ryzen AI Max+ 395
- Radeon 8060S · 128 GB birleşik bellek
- Qwen3.5-9B · aynı resmî kaynak
- Ubuntu · GPU üzerinde metin üretimi
Karşılaştırılan üç kurulum
- vLLM 0.31.0 · ROCm 7.2.3 · BF16
- llama.cpp b11669 · Vulkan · BF16 / Q8_0
- ROCm KV: BF16 · Vulkan KV: FP16
- 4K bağlam · tek istek · en çok 512 çıktı tokenı
AMD Ryzen AI Max+ 395 işlemcili, 128 GB birleşik belleği olan ASUS’ta bu kez bir sohbet modelini günlük işlerle denedim. Bir toplantı notunu özetlesin, müşteri e-postası hazırlasın, küçük bir siparişi hesaplasın istedim. Aynı modeli üç farklı ayarla çalıştırınca bekleme süresi değişti. Ama hızlı cevap almak, hesabın doğru çıkmasını sağlamadı.
Kullandığım model Qwen3.5-9B. Modeli çalıştıran yazılımı ve model dosyasının sayısal hassasiyetini değiştirerek üç kurulum denedim. Buradaki karşılaştırma, aynı bilgisayarda aynı modelin bu üç kurulumla nasıl davrandığıyla ilgili.
Cevabı ne kadar bekledim
Ön hazırlıktaki soruları ayırdım; asıl ölçüm için 12 yeni Türkçe görev hazırladım. Her kuruluma aynı soruları üç kez verdim. Toplam 108 cevap aldım. İstekler tek tek gönderildi; bu bir çok kullanıcılı sunucu testi değildi.
Aşağıdaki süreler model açılıp hazır olduktan sonra ölçüldü. İlk süre yazının görünmeye başlaması, ikinci süre cevabın bütünüyle bitmesi. Tabloda ortadaki ölçümü, yani medyanı gösteriyorum.
| Kurulum | Yazmaya başlaması | Cevabın tamamlanması |
|---|---|---|
| Vulkan Q8 | 0.23 sn | 1.57 sn |
| ROCm BF16 | 0.28 sn | 2.80 sn |
| Vulkan BF16 | 0.74 sn | 3.26 sn |
Q8, model ağırlıklarını daha düşük sayısal hassasiyetle saklayan kopya. Yerelde hazırladığım bu dosya yaklaşık 9,8 GB; diğer Vulkan kopyası yaklaşık 18,4 GB. Bunlar dosya boyutları, çalışırken harcanan toplam bellek değil.
Bu görevlerde Q8 kurulumunda daha kısa bekledim. Yine de tek bir genel hız çarpanı vermiyorum: bazı cevapların uzunluğu ve içeriği değişti. Kurulumların çalıştırılma sırası da sabitti. Tablodaki fark, bu kısa görevlerde karşılaştığım pratik bekleme farkı.
Hızlı cevap geldi ama hesap tutmadı
Bir yazılım paketi aldığınızı düşünün. Pakete dört kişi dahil; ekleyeceğiniz her kişi için ayda 90 TL ödüyorsunuz. Ekibiniz yedi kişiyse ne kadar ek ücret çıkar?
Modele tam olarak bunu sordum. Pakette zaten dört kişilik yer olduğu için yalnız üç kişi eklemek gerekiyor: 3 × 90 = 270 TL. Modelin cevabı ise 630 TL oldu. Bu, yedi kişinin tamamına ek ücret çıkarmak demek. Aynı soruyu üç kurulumda da denedim; sonuç değişmedi.
Stok sorusunda da benzer bir durum vardı. Depoda 48 kalem var, 17’sini satıyorsunuz. Ardından depoya 9 yeni kalem geliyor. Rafta 48 − 17 + 9 = 40 kalem kalması gerekirken model 10 dedi.
Bu iki örnekte sorun, cevabın anlaşılmaması değildi. Cevap kısa ve netti; yalnızca yanlıştı. Ekrana hızlıca bir sayı gelince iş bitmiş gibi görünebiliyor. O sayıyı müşteriye göndermeden veya stok kaydına yazmadan önce kontrol etmek gerekiyor.
Müşteriye tarih uydurmadı
Her görevde aynı sorunla karşılaşmadım. Bu kez modelden bir müşteri e-postası hazırlamasını istedim. Verdiğim bilgiler azdı: R18 numaralı sipariş henüz kargoya verilmemişti ve ne zaman çıkacağı bilinmiyordu. Müşteriden özür dilemesini, durum netleşince haber vereceğimizi söylemesini istedim.
Cevabın ilgili kısmı şöyleydi:
Siparişiniz (R18) henüz kargoya verilmemiştir. Çıkış tarihi şu an bilinmemektedir. Bu durum için özür dileriz. Durum netleştiğinde size en kısa sürede bilgi vereceğiz.
Burada işe yarayan şey, metni doldurmak için bir teslim tarihi eklememesiydi. “Yarın kargoda” demedi, olmayan bir takip bağlantısı yazmadı. Elindeki bilgilerle, müşteriye gönderilmeden önce gözden geçirilebilecek bir taslak hazırladı.
Bir rezervasyon konuşmasında da değişiklikleri takip etmesini istedim. Müşteri önce iki kişi için saat 10.00’u istiyor; o saat dolu çıkınca talebini üç kişi ve 11.30 olarak değiştiriyordu. Görevli ise yalnızca talebi aldığını, rezervasyonun henüz onaylanmadığını söylüyordu. Model son durumu doğru çıkardı: üç kişi, 11.30, onay bekliyor. Talebin alınmasını rezervasyonun kesinleşmesiyle karıştırmadı.
Toplantı notunda da önerilen teslim tarihini, müşteri henüz kabul etmediği için onaylanmış bir tarih olarak sunmadı. Bu örneklerde modelin faydası, dağınık bilgiyi kısa bir cevaba toplarken önemli ayrımı korumasıydı.
Doğru bilgi bazen yanlış ambalajla geldi
Bazı cevapları yalnız okumak için değil, başka bir programa aktarmak için istedim. Bu yüzden “yalnız JSON yaz” dedim. JSON’u burada, bilgilerin belli alanlara yerleştirildiği bir form gibi düşünebilirsiniz: sipariş kodu bir alana, siparişin durumu diğerine yazılıyor.
Model bazı sorularda bu alanları doğru doldurdu ama cevabın etrafına bir kod kutusu ekledi. İnsan okuyunca bilgi hâlâ anlaşılır. Fakat yalnızca o formu bekleyen program, etrafındaki fazlalık yüzünden cevabı doğrudan kullanamayabilir.
Bu yüzden “hesabı yanlış yaptı” ile “bilgi doğru, biçimi düzeltmek gerekiyor” durumlarını ayrı değerlendirdim. Bilgiyi belli alanlarda istediğim dokuz sorunun üçünde hesap hatası vardı. Diğer altısında bilgiler doğruydu; bazılarında bu sunum sorunu çıktı. Üç tekrarda da aynı tabloyla karşılaştım.
Bu bilgisayarda nasıl çalıştı
Üç kurulumun her biri 36 cevabı tamamladı; yarıda kesilen cevap olmadı. Bu kısa koşularda yeni GPU takılması veya bellek taşması kaydı görülmedi. Testler bitince modelleri kapattım.
Bu turda küçük modelle kısa metinler ürettim. Benim için işe yarayan tarafı, verilen bilgilere bağlı bir e-posta veya kısa özet hazırlamasıydı. Hesap isteyen işlerde ise çıkan sayıyı kontrol etmeden kullanmam. Daha büyük model denemelerinde de yalnız cevap süresini değil, bu somut hataların değişip değişmediğini görmek istiyorum.
Test ortamı ve ölçüm yöntemi
ASUS ProArt, AMD Ryzen AI Max+ 395 ve128 GB birleşik bellek. Bu işlemcinin içindeki Radeon8060S grafik birimi modeli çalıştırdı; NPU kullanılmadı. CPU, yükleme ve istek hazırlama gibi işlerde görev aldı. Bellek CPU ile GPU tarafından paylaşılır; ayrı128 GB VRAM değildir. Ubuntu üzerinde yerel çalışma. Model Qwen3.5-9B, aynı resmî ağırlık revizyonu. ROCm tarafında ayrı vLLM ortamı ve BF16; Vulkan tarafında resmî llama.cpp paketiyle BF16 ve aynı kaynaktan yerel Q8_0 dönüşümü kullanıldı. Vulkan ile ROCm’un ara bellek hassasiyeti de farklı; bu, yalnızca yazılım motorunu değiştiren kontrollü bir karşılaştırma değil.
Her profilde ayrı selamlama sonrası 12 soru ×3 tekrar. Bağlam4096, tek istek, en çok512 çıktı tokenı, düşünme kapalı, temperature0 ve seed42. Üç tekrar bekleme süresini ölçmek içindir; aynı cevabın üç kez gelmesi üç ayrı kalite sorusu sayılmadı. Dokuz yapılandırılmış soru, üç açık metin görevi var. Sorular ayar denemelerinden sonra, ana üretimden önce sabitlendi; sonuçları gördükten sonra model ayarı değiştirilmedi. Sonradan eklenen içerik değerlendirmesinde dış Markdown kutusu ve saat yazımındaki nokta/iki nokta farkı ayrıca ayrıştırıldı.
Sıra Q8 → ROCm BF16 → Vulkan BF16. İndirme ve model açılışı tablodaki cevap sürelerine dahil değil. Kalite gözlemleri bu12 görev ve bu düşünmesiz profille sınırlı. Uzun belge, internet araması, görsel anlama veya çok kullanıcı kapasitesi ölçülmedi. Sürücü, sistem Python’u, BIOS ve fan ayarları değiştirilmedi. Görsel üretim testleri askıda kaldı.
GLM ile iki hazırlık denemesi ek takas belleği sınırında durdu; bu108ölçüme dahil değiller. O sırada kullanılabilir RAM vardı, bu yüzden RAM kapasitesinin yetmediği sonucu çıkarılmadı. Test sonunda model süreçlerinin kapandığı ve yerel portun boşaldığı doğrulandı.

