128 GB ASUS Ryzen AI Max+ 395 ile GLM 5.3 Flash denemesi
128 GB Ryzen AI Max+ 395 üzerinde GLM 5.3 Flash: token/saniye, cevap süreleri, bellek, gerçek yanıtlar ve önceki vLLM/ROCm ile llama.cpp/Vulkan deneyimleri.
GLM 5.3 Flash’ı 128 GB birleşik bellekli ASUS bilgisayarda çalıştırırken, yaklaşık 102 GB’lık model dosyalarından günlük işlerde kullanabileceğim bir cevaba uzanan yolu denedim. Modeli açmak için yükleme düzenini değiştirmem gerekti. Açıldıktan sonra fatura ve stok hesaplarını doğru yaptı; bazı cevaplarda ise doğru bilginin yanına istenmeyen metinler ekledi.
Bu denemede Unsloth’un UD-IQ2_XXS sıkıştırmasını kullandım. Aşağıdaki sonuçlar bu sürüme, kısa bağlama ve sınırlı düşünme ayarına ait. Hesaplamayı Ryzen AI Max+ 395’in içindeki Radeon 8060S grafik birimi, Vulkan üzerinden yürüttü; işlemci ve grafik birimi aynı fiziksel belleği paylaşıyor.
Cihaz ve bellek
- ASUS · AMD Ryzen AI Max+ 395
- Radeon 8060S / gfx1151 · Vulkan / RADV
- 128 GB birleşik bellek; CPU ve GPU aynı fiziksel belleği paylaşır
Model ve çalıştırıcı
- GLM 5.3 Flash · Unsloth UD-IQ2_XXS
- llama.cpp b11669 / 620d2225 · 0.7.0-dev
Çalışma profili
- 2048 token bağlam · tek aktif istek
- Temperature 0 · low düşünme + 256 token sınırı
- Düşünme + cevap toplamı en çok 768 token
Ölçüm kapsamı
- 12 günlük görev × 3 tekrar · 36 yanıt
- 9 JSON görevi · 3 açık metin görevi
- Yükleme ve ayrı ısınma ölçüm dışında
Bu modelde çalıştırıcı seçimi
Bu cihazdaki ilk kurulumum vLLM ve ROCm üzerineydi; o ortam hâlâ duruyor. GLM 5.3 Flash denemesinde ise llama.cpp ve Vulkan kullandım. İkisi de modeli çalıştıran yazılım. llama.cpp adındaki “llama”, bu testte Meta’nın Llama modeline geçtiğim anlamına gelmiyor; cevap veren model yine GLM 5.3 Flash.
Seçimin ilk nedeni büyük modeli belleğe sığdırmaktı. Yaklaşık 320 milyar parametrenin tamamını standart 16 bit ağırlıklarla yüklemek, yalnız ağırlıklar için kabaca 640 GB gerektirir. Sekiz bit düzeyinde bile kaba büyüklük 320 GB olur. Bunlar dosyanın tam boyutu veya çalışma belleği hesabı değil; 128 GB cihazda neden daha güçlü bir sıkıştırmaya yöneldiğimi gösteren yaklaşık büyüklükler.
Unsloth’un GGUF paketlerinden UD-IQ2_XXS sürümünü seçtim. Bu paketin boyutu 101,84 GB, yani 94,85 GiB. Bir üst IQ3 seçeneği yaklaşık 112,1 GiB ağırlık tutuyordu; işletim sistemi, masaüstü ve çalışma alanı için koruduğum payla birlikte bu denemede onu seçmedim. Sıkıştırma adı bütün ağırlıkların aynı bit sayısında olduğu anlamına gelmiyor.
GGUF için daha önce doğruladığım llama.cpp çalıştırıcısı hazırdı; quant üreticisinin rehberi de bu yolu anlatıyor. Burada bu GLM 5.3 sürümünü vLLM’de deneyip başarısız olmadım. Dolayısıyla “vLLM çalıştırmıyor” ya da “llama.cpp daha hızlı” sonucum yok. vLLM’nin GGUF belgesi bu desteğin deneysel ve henüz yeterince optimize edilmemiş olduğunu belirtiyor; bu genel uyarı, bizim cihazımızda bu model için yapılmış bir uyumluluk testi yerine geçmiyor.
Önceki denemelerin öğrettikleri
GLM-4.7-Flash’ı vLLM/ROCm ile çalıştırmıştım. Model yüklense de ilk gerçek istekte AMD grafik birimine uygun olmayan bir hesaplama yolu hata vermişti. Sürece özel hesaplama seçimiyle bunu aştım. Sohbetin ara belleği için otomatik ayrılan alan da fazla büyüyünce bütçeyi 33,96 GiB’dan 6 GiB’a sabitledim. Daha uzun girdileri birlikte işlerken ayrıca metnin parçaları arasındaki ilişkileri hesaplayan attention bölümünün çıktısında bir düzen uyarlaması gerekti. Bunları ROCm deneyim notunda anlattım. Sonunda ana çalışma tamamlandı; bu, her yeni GLM sürümünün aynı ayarlarla açılacağını göstermiyor.
Qwen3.5-9B’de aynı model kaynağını üç farklı profilde denedim. Biri mevcut vLLM/ROCm ortamı, diğer ikisi llama.cpp/Vulkan üzerinde farklı ağırlık biçimleriydi. Her profilde 12 günlük görevi üçer kez sordum:
| Önceki Qwen denemesi | İlk görünür cevap | Tam cevap |
|---|---|---|
| vLLM / ROCm, BF16 | 0,28 sn | 2,80 sn |
| llama.cpp / Vulkan, BF16 GGUF | 0,74 sn | 3,26 sn |
| llama.cpp / Vulkan, Q8_0 GGUF | 0,23 sn | 1,57 sn |
Bunlar o çalışmadaki 36’şar cevabın ortancaları. Q8 profili daha az bellekle daha kısa bekleme verdi; fakat sıkıştırma, cevap uzunlukları ve bazı bellek ayarları da farklıydı. Sıra sabitti. Tabloyu yalnız çalıştırıcıların saf hız karşılaştırması olarak okumuyorum. Üstelik üç profilde de yanlış hesaplanan sorular vardı: daha hızlı cevap, o örnekte daha doğru cevap demek değildi. Qwen yazısında örnekler ve sınırlar var.
Bu önceki denemeler, yeni modelde kontrol edeceğim üç noktayı belirledi: gerçek bir isteğin tamamlanması, masaüstüne yeterli bellek kalması ve dönen cevabın işe yaraması. GLM 5.3’te bu üç kontrolü ayrı tuttum. Aşağıdaki ölçümler onun IQ2 sürümüne ait; önceki Qwen tablosundan farklı bir model ve farklı ayarlar söz konusu.
Dosyalar indi, sıra modeli açmaya geldi
Resmî model kartı, yaklaşık 320 milyar toplam ve 18 milyar aktif parametre bildiriyor. Aktif parametre sayısının küçük olması, yalnız o kadar ağırlık indireceğim anlamına gelmiyor. Seçtiğim sıkıştırılmış paket bile yaklaşık 102 GB tuttu.
İlk üç açılış denemesi cevap üretmeden durdu. Koruma, başlangıca göre swap kullanımının arttığını gördü. Swap, bellek sayfalarının diskteki takas alanına taşınması; burada artış modelin kendi biriminde değil, diğer masaüstü süreçlerinde görünüyordu. Linux’un “kullanılabilir bellek” sayısı yüksek kalsa da bu sayı dosya önbelleği gibi geri alınabilecek alanları da içeriyor.
Yüklemeyi, model dosyalarının önbelleğini ve model biriminin CPU/dosya önbelleği sınırını birlikte ele aldım. Aynı bellek, sıcaklık ve ek swap korumalarıyla sonraki ön kontroller ve ana ölçüm tamamlandı. Sürücü veya sistem Python’u değiştirmedim. Bu yükleme yönteminin ayrıntılarını ayrı teknik notta anlattım.
Günlük görevlerde bekleme süresi
Hesaplama, bilgi çıkarma, özet, e-posta ve kısa açıklama içeren 12 farklı görevi üçer kez sordum. Böylece 36 yanıt aldım. Tekrarlar, aynı işin bekleme süresini görmek içindi; 36 farklı kalite sorusu olarak saymıyorum.
İlk boşluk olmayan cevap metninin görünmesi ortancada 3,1 saniye, cevabın tamamlanması 5,1 saniye sürdü. Modelin düşünme olarak ayrı gönderdiği metni, cevabın başladığı an yerine kullanmadım. Model yükleme ve ayrı ısınma isteği de bu sürelerin dışında.
Bu iki sayı küçük görev grubunun ortancası. Örneğin fatura sorusu yaklaşık 6,3 saniyede tamamlanırken, birazdan anlatacağım bir bilgi çıkarma sorusu 16,3 saniye sürdü. Cevabın uzunluğu ve eklediği metin, günlük kullanımda ne kadar beklediğimi değiştiriyor.
Token üretim hızı
Token, modelin metni işlerken kullandığı parça; bazen bir kelime, bazen kelimenin bir bölümü. Bu nedenle token/saniye değerini doğrudan kelime/saniye diye okuyamıyorum.
Sunucunun 36 yanıt için kaydettiği işlem sürelerine göre token üretim hızı ortancası 17,0 token/saniye çıktı. Tek tek isteklerde 16,6–17,4 aralığındaydı. Sorunun modele okutulduğu ilk aşama, yani prefill ortancası ise 35,1 token/saniye oldu.
Bu 17,0 değeri, model üretime geçtikten sonraki aşamayı anlatıyor. Soruyu okumasını ve isteğin bütün beklemesini de hesaba katıp toplam üretilen tokenı tam süreye böldüğümde, istek başına hızların ortancası 8,1 token/saniye oluyor. İki sayının farklı olması çelişki değil; başlangıçta geçirilen süre ikinci hesapta da var.
Örneğin kısa bir sıralama cevabında başlangıç beklemesi toplam sürenin büyük bölümünü tutuyor. Daha uzun bilgi çıkarma cevabında bu pay azalıyor ve uçtan uca token hızı yükseliyor. Fakat o uzun cevapta istenmeyen ek metin de vardı. Grafikteki yüksek hız, o cevabın daha kullanışlı olduğunu söylemiyor.
Üretim sayıları düşünme metnini ve görünür cevabı birlikte içeriyor. Yalnız ekranda okunan Türkçe cevabın hızı olarak sunmuyorum. Girdiler 61–124 token gibi kısaydı; bu sonuç uzun belge işleme hızını veya çok kullanıcılı servis kapasitesini ölçmüyor. Model yükleme ve ayrı ısınma bu grafiklerde de yok.
Doğru hesap ve doğru çıktı biçimi
Fatura sorusunda üç ürünün birim fiyatı 240 TL, iki ürünün birim fiyatı 175 TL idi. Ürünlere yüzde 10 indirim uygulanacak, 80 TL kargo ayrıca eklenecekti. Model ürün toplamını 1.070 TL, indirimi 107 TL, ödenecek tutarı 1.043 TL verdi. Hesap doğruydu ve istediğim JSON nesnesi olarak geldi.
Verdiğim istem — tam metin
Yalnız JSON nesnesi döndür; Markdown kullanma. Üç ürünün birim fiyatı 240 TL, iki ürünün birim fiyatı 175 TL. Kargo 80 TL. İndirim yalnız ürün toplamına yüzde 10. Anahtarlar urun_toplami, indirim, odenecek; sayılar tam sayı olsun.
Modelin görünür cevabı — değiştirilmeden
{"urun_toplami": 1070, "indirim": 107, "odenecek": 1043}
Stok sorusunda da 48 kalemden 17’si satılıp 9’u geri geldiğinde kalan 40 olarak bulundu. Yeni sipariş 43 kalem istediği için tamamının karşılanamayacağını doğru yazdı.
Ücret güncellemesinde aynı netlik yoktu. Başlangıçta 200 TL olan bir atölyenin ücreti kaldırılmıştı. Sayısal ücret alanında beklediğim değer 0 iken model null yazdı. Bu görevde sıfır ücretsiz anlamına geliyor; null ise istenen sayısal ücreti vermiyor. Uygulama açısından bu fark kaybolmamalı.
Verdiğim istem — tam metin
Duyuru bilgisi: Atölye adı Çizgi, gün Pazar, başlangıç 11.00, ücret 200 TL. Güncelleme: başlangıç 13.30 oldu, ücret kaldırıldı. Yalnız JSON: {"ad":"...","gun":"...","saat":"...","ucret":sayı}.
Modelin görünür cevabı — değiştirilmeden
{"ad":"Çizgi","gun":"Pazar","saat":"13.30","ucret":null}
JSON, bir uygulamanın alan adlarını ve değerleri düzenli biçimde okuyabildiği bir metin biçimi. Örneğin stok yanıtında kalan adet ile siparişin karşılanıp karşılanmadığını ayrı alanlarda alıyorum. Dokuz görevde yalnız bu biçimi istemiştim. Üç tekrarlarıyla birlikte 27 yanıtın 15’i, hem doğru değerlerle hem istenen biçimde geldi. Modelden ayrıca bir JSON şemasıyla kısıtlanmış üretim istemedim; biçimi yazılı talimatla tarif ettim.
Ek kullanıcı ücreti ve kişisel bilgi çıkarma sorularında değerler doğruydu, fakat model JSON’u Markdown kod bloğuna sardı. Yalnız bu kod işaretlerini ayırınca altı yanıt daha kullanılabilir JSON oldu; sayı 21/27’ye çıktı. Hesapları veya değerleri düzeltmedim.
Verdiğim istem — tam metin
Politika: Paket 4 kullanıcı içerir. Her ek kullanıcı aylık 90 TL. Paket temel fiyatı kaynakta yok. İptal koşulu belirtilmemiş. Yedi kullanıcı için ek aylık ücreti ve iptal koşulunu yalnız JSON ile yaz. Anahtarlar ek_ucret (tam sayı), iptal_kosulu (bilinmiyorsa null).
Modelin görünür cevabı — değiştirilmeden
```json
{
"ek_ucret": 270,
"iptal_kosulu": null
}
```
Bilgi çıkarma sorusunda ise Ada’nın net teslimini 11, Bora’nınkini 8 ve Ceren’in bilinmeyen adedini null olarak buldu. Fakat görünen cevaba İngilizce çalışma notları, bir düşünme bitiş işareti ve tekrarlanan JSON da karıştı. Rakamlar doğru görünse de dönen metin tek bir JSON nesnesi değildi. Önceden belirlediğim sınırlı ayrıştırma bu ek metni temizlemiyor; bu üç yanıtı başarılı saymadım. Bunun model, sıkıştırma veya çalışma yolundaki hangi parçadan kaynaklandığını bu deneme ayırmıyor.
Kısa metinlerde kaynak bilgisi
Kütüphane özetinde Pazar günü açılma önerisini kesinleşmiş karar gibi anlatmadı. İstenen iki cümlelik yerel model açıklamasında da ilk cümleyi aynen korudu ve çevrimdışı kullanım için dosyaların önceden indirilmesi gerektiğini söyledi.
E-posta örneğinde daha küçük bir dil sorunu vardı: kaynakta “firmaya teslim edilmedi” derken cevapta “firmamıza teslim edilmemiştir” yazdı. Bu, gönderinin taşıyıcıya verilmemesiyle firmamızca alınmaması arasındaki yönü belirsizleştiriyor. Sorudaki “firma” da açık adlandırılmadığı için bu maddeyi kesin bir model hata puanına çevirmedim; editoryal kontrol gerektiren bir örnek olarak ayırdım.
Bu ASUS üzerinde, böyle büyük bir modelin sıkıştırılmış sürümüyle kısa sohbet ve günlük kayıt işlerini gerçekten deneyebildim. Fatura ve stokta doğru sonuç gördüm; yapılandırılmış yanıtta biçim ve değer kontrolüne yine ihtiyaç çıktı. Bu denemeden sonra günlük bir iş için model seçerken yalnız dosyanın sığmasına ve token hızına bakamam. Cevabı beklemek, doğru sonucu almak ve o sonucu uygulamaya aktarabilmek, burada ayrı ayrı karşıma çıkan ihtiyaçlardı.
Soruların ve cevapların tamamı
Yukarıdaki örnekler ilk kaydedilen tekrardan alındı. Her soruyu üç kez sordum; aynı sorunun üç görünür cevabı da birebir aynıydı. Bu yüzden aşağıda her sorunun tam istemini ve bir tam cevabını gösteriyorum. Başarısız saydığım cevaplar da burada; yazım hatalarını, kod işaretlerini ve fazladan metinleri düzeltmedim.
Burada gösterilen, API’nin kullanıcıya görünür cevap alanının tamamı. Ayrı gönderilen düşünme akışı dahil değil. Ancak düşünmeye benzeyen metin görünür cevaba karışmışsa — teslim adedi örneğinde olduğu gibi — onu aynen korudum. Sorulardaki kişiler ve kayıtlar yapay örnekler. Konuşma sorusunda diyaloğu tek bir istemin içinde verdim; ayrı mesajlarla ilerleyen bir sohbet oturumu ölçmedim.
12 sorunun 36 cevabını JSON olarak indir. Dosya bütün tekrarların istemlerini, görünür cevaplarını, bitiş nedenlerini, sürelerini ve token sayılarını içeriyor.
Fatura hesabı — tam istem ve cevap
Verdiğim istem — tam metin
Yalnız JSON nesnesi döndür; Markdown kullanma. Üç ürünün birim fiyatı 240 TL, iki ürünün birim fiyatı 175 TL. Kargo 80 TL. İndirim yalnız ürün toplamına yüzde 10. Anahtarlar urun_toplami, indirim, odenecek; sayılar tam sayı olsun.
Modelin görünür cevabı — değiştirilmeden
{"urun_toplami": 1070, "indirim": 107, "odenecek": 1043}
Onaylanmamış teslim tarihi — tam istem ve cevap
Verdiğim istem — tam metin
Kaynak: Toplantıda teslim tarihi 12 Kasım olarak önerildi. Müşteri henüz yanıt vermedi. Ekip 9 Kasım için iç prova yapacak. Müşteri onaylı teslim tarihi soruluyor. Yalnız şu biçimde JSON yaz: {"onayli_tarih":null,"ic_prova":"..."}. Bilinmeyen değeri uydurma.
Modelin görünür cevabı — değiştirilmeden
{"onayli_tarih":null,"ic_prova":"9 Kasım"}
Stok ve sipariş — tam istem ve cevap
Verdiğim istem — tam metin
Yalnız JSON: {"kalan":sayı,"karsilanir":true/false}. Depoda 48 kalem var. Sabah 17 satıldı, öğlen 9 geldi. Akşam 43 kalemlik sipariş geldi. Sipariş öncesi kalan kaç ve sipariş bütünüyle karşılanır mı?
Modelin görünür cevabı — değiştirilmeden
{"kalan":40,"karsilanir":false}
Ek kullanıcı ücreti — tam istem ve cevap
Verdiğim istem — tam metin
Politika: Paket 4 kullanıcı içerir. Her ek kullanıcı aylık 90 TL. Paket temel fiyatı kaynakta yok. İptal koşulu belirtilmemiş. Yedi kullanıcı için ek aylık ücreti ve iptal koşulunu yalnız JSON ile yaz. Anahtarlar ek_ucret (tam sayı), iptal_kosulu (bilinmiyorsa null).
Modelin görünür cevabı — değiştirilmeden
```json
{
"ek_ucret": 270,
"iptal_kosulu": null
}
```
Net teslim adedini çıkarma — tam istem ve cevap
Verdiğim istem — tam metin
Metin: Ada 14 kutu, Bora 8 kutu teslim etti. Ada daha sonra 3 kutu geri aldı. Ceren’in teslim adedi belirtilmemiş. Yalnız JSON nesnesinde net teslim adetlerini yaz: Ada, Bora, Ceren. Bilinmeyen için null kullan.
Modelin görünür cevabı — değiştirilmeden
{"Ada": 11, "Bora": 8, "Ceren": null}We need answer JSON only. Need parse. Net delivered: Ada delivered 14, later took back 3 => net 11. Bora 8. Ceren unspecified null. Need JSON object keys Ada Bora Ceren.</think>{"Ada": 11, "Bora": 8, "Ceren": null}
Ücretin kaldırıldığı güncelleme — tam istem ve cevap
Verdiğim istem — tam metin
Duyuru bilgisi: Atölye adı Çizgi, gün Pazar, başlangıç 11.00, ücret 200 TL. Güncelleme: başlangıç 13.30 oldu, ücret kaldırıldı. Yalnız JSON: {"ad":"...","gun":"...","saat":"...","ucret":sayı}.
Modelin görünür cevabı — değiştirilmeden
{"ad":"Çizgi","gun":"Pazar","saat":"13.30","ucret":null}
Kişisel bilgileri ayırma — tam istem ve cevap
Verdiğim istem — tam metin
Kayıt: müşteri adı Deniz; e-posta deniz@example.test; sipariş kodu K42; durum hazırlanıyor. Kişisel bilgileri çıkar. Yalnız JSON nesnesinde siparis ve durum alanları kalsın.
Modelin görünür cevabı — değiştirilmeden
```json
{
"siparis": "K42",
"durum": "hazırlanıyor"
}
```
Bağımlı işleri sıralama — tam istem ve cevap
Verdiğim istem — tam metin
İşler: A tasarım, B kontrol, C teslim. B için A bitmeli; C için B bitmeli. Yalnız JSON dizisi olarak geçerli sırayı harflerle yaz.
Modelin görünür cevabı — değiştirilmeden
["A", "B", "C"]
Öneriyi karardan ayıran özet — tam istem ve cevap
Verdiğim istem — tam metin
En fazla iki cümlede özetle. Kaynak: Kütüphane hafta içi 09.00–18.00 açık. Cumartesi kapalı. Pazar açılması önerildi ama karar verilmedi. Yeni kitap bütçesi 4000 TL olarak onaylandı. Öneriyi kesinleşmiş karar gibi anlatma.
Modelin görünür cevabı — değiştirilmeden
Kütüphane hafta içi 09.00–18.00 saatlerinde açık olup Cumartesi kapalıdır; Pazar günü açılması önerilmiş ancak henüz karar bağlanmamıştır. Yeni kitap alımları için 4000 TL'lik bütçe onaylanmıştır.
Müşteriye kısa e-posta — tam istem ve cevap
Verdiğim istem — tam metin
Şu bilgilere dayanarak en fazla 45 kelimelik müşteriye e-posta yaz: Sipariş numarası R18. Kargo henüz firmaya teslim edilmedi. Çıkış tarihi bilinmiyor. Özür dile ve durum netleşince haber verileceğini söyle. Tarih, takip kodu veya bağlantı uydurma.
Modelin görünür cevabı — değiştirilmeden
Sayın müşterimiz,
Sipariş numaranız R18'e ait kargo henüz firmamıza teslim edilmemiştir. Çıkış tarihi henüz bilinmemektedir. Yaşanan gecikme için özür dileriz. Durum netleştiğinde size derhal bilgi vereceğiz.
Saygılarımızla,
İki cümlelik açıklama — tam istem ve cevap
Verdiğim istem — tam metin
Yerel sohbet modelini iki cümlede anlat. İlk cümle tam olarak "Model bu bilgisayarda çalışır." olsun. İkinci cümlede internet olmadan kullanımın model dosyalarının önceden indirilmesine bağlı olduğunu söyle. Başlık veya madde kullanma.
Modelin görünür cevabı — değiştirilmeden
Model bu bilgisayarda çalışır. İnternet olmadan kullanım, model dosyalarının önceden indirilmiş olmasına bağlıdır.
Konuşmanın son durumunu çıkarma — tam istem ve cevap
Verdiğim istem — tam metin
Mert: Yarın 10.00 için iki kişilik yer ayırmak istiyorum. Görevli: O saat dolu, 11.30 boş. Mert: Üç kişi olacağız, 11.30 olsun. Görevli: Talebinizi aldım, rezervasyon henüz onaylanmadı. Son durumu yalnız JSON ile yaz: {"kisi":sayı,"saat":"...","onaylandi":true/false}.
Modelin görünür cevabı — değiştirilmeden
{"kisi":3,"saat":"11.30","onaylandi":false}
Ölçümün teknik ayrıntıları
| Alan | Bu çalışmadaki değer |
|---|---|
| Cihaz | ASUS, AMD Ryzen AI Max+ 395, Radeon 8060S / gfx1151 |
| Bellek | 128 GB birleşik bellek; Linux toplamı yaklaşık 122,69 GiB |
| Model | GLM 5.3 Flash, Unsloth UD-IQ2_XXS; dört dosya 94,85 GiB |
| Çalıştırıcı | Resmî llama.cpp b11669 / 620d2225, 0.7.0-dev; Vulkan/RADV |
| İstek düzeni | Tek aktif istek, 2048 token bağlam, düşünme ve cevap dahil en çok 768 toplam çıktı tokenı |
| Üretim ayarı | Temperature 0, top_p 0,95, seed 42; low düşünme ve ayrıca 256 düşünme token sınırı |
| KV ve yükleme | FP16 KV, DIO isteği ve gözlenen buffered I/O dönüşleri; dosyaya özel önbellek tavsiyesi |
| Token üretim hızı | Sunucunun decode sayacı: ortanca 17,00 token/sn; 16,58–17,38 aralığı |
| İstemi işleme hızı | Sunucunun prefill sayacı: ortanca 35,12 token/sn; 61–124 token girdiler |
| Uçtan uca çıktı hızı | İstek başına toplam çıktı tokenı / tam süre: ortanca 8,13 token/sn |
| Token toplamları | 3.336 girdi, 2.100 üretilen token; ayrı ısınma hariç |
| Soru grubu | 9 JSON + 3 açık metin görevi, her biri 3 tekrar; ayrıca ölçüm dışı 1 ısınma |
| Birincil JSON sonucu | 15/27; beş farklı görevde üçer tam geçiş |
| Sınırlı ayrıştırma | Tek bütün JSON kod bloğu ve saat noktalaması; 21/27, yedi farklı görevde üçer geçiş |
| Boş yanıt, kesilme, akış hatası | 0 / 0 / 0 |
| Kullanılabilir bellek en az | Örneklenen sistem değerinde 24,95 GiB |
| Sıcaklık en çok | İzlenen sensörlerde 71 °C |
| Net ek global swap | Ana koşu başlangıcına göre 0 MiB; önceki denemelerden yaklaşık 865 MiB swap başlangıçta mevcuttu |
| Kapanış | Sunucu/istemci çıktı; birimde başka süreç ve açık model portu kalmadı; bellek başlangıç düzeyine döndü |
İlk metin ve tam cevap süreleri yerel HTTP isteğinin gönderiminden ölçüldü. Bütün 36 yanıt tamamlandı; gerçek prompt-token sayıları ölçüm öncesi bütçe hesabıyla eşleşti ve bütün yanıtlarda istem önbelleği sayacı sıfırdı. Ana çalışmada yeni GPU/OOM olayı gözlenmedi.
Token hızları sonradan, değiştirilmemiş ham akıştaki timings kayıtlarından çıkarıldı; yeni model denemesi yapılmadı. 36 isteğin girdi/çıktı sayıları usage alanlarıyla ve sunucu günlüğüyle eşleşti. Prefill hızı girdi tokenı / prefill süresidir. Decode hızı çalıştırıcının kendi tanımıyla (üretilen token − 1) / decode süresi; ilk üretilen token ilk aşamaya yazılır. Uçtan uca hız toplam çıktı tokenı / yerel HTTP isteğinin tam süresidir. Tablodaki ortancalar tek tek isteklerin hızlarından alınır; ortanca token sayısını ortanca süreye bölmedim.
Katı JSON değerlendirmesi yinelenen anahtarları reddediyor. İkincil ayrıştırma yalnız bütün cevabı saran JSON kod bloğunu ve saatlerde iki nokta/nokta farkını ele alıyor; eksik alan, ek açıklama veya yanlış sayıyı onarmıyor. Açık metinler kaynak ve talimat bakımından ajan gözlemiyle okundu; insan tercih puanı verilmedi.
Temperature 0 ve ek düşünme sınırı bu denemenin seçilmiş ayarları. Quant üreticisinin temperature 1 kullanım önerisinden ve modelin varsayılan max düşünmesinden farklılar. Bu küçük soru grubu uzun bağlamı, araç kullanımını veya görsel yetenekleri ölçmüyor. Sonuçlar bu yerel profilin deneyimi olarak okunmalı.
Quant dosyalarının revisionu a38483c8cd5df544f53d70fb281afe97369d5ab6; dört dosyanın boyut ve SHA-256 kontrolleri geçti. Quantın türetildiği tam BF16 revisionu kanıtlı değil; resmî model kartındaki araştırma referansı ile aynı dönüşüm girdisi olduğu varsayılmadı.
Düşünmeyi durdurunca ne değişti?
İlk denemede düşünmeye 256 tokenlık bir sınır koymuştum. Peki model doğrudan cevaba geçse daha kullanışlı olur muydu? Aynı 12 soruyu, aynı model dosyaları ve aynı çalıştırıcıyla üçer kez daha sordum.
Burada küçük ama önemli bir ayrıntı var: Bu modelin kullandığım sohbet şablonunda yerleşik bir “düşünme kapalı” seçeneği yok. Çalıştırıcıya düşünme için sıfır bütçe verdim; çalıştırıcı düşünme bölümünü hemen kapatıp görünür cevabı başlattı. Bunu yalnız ekranda düşünceleri gizleyerek yapmadım: ayrı kısa deneme ve ana testin sunucu kayıtlarında kapanışın gerçekten zorlandığını kontrol ettim. Yine de bu, üreticinin sunduğu yerleşik bir kapalı mod değil.
| Ortanca değer | Önceki low / 256 | Sıfır düşünme bütçesi |
|---|---|---|
| İlk görünür cevap | 3,15 sn | 2,80 sn |
| Cevabın tamamlanması | 5,07 sn | 4,31 sn |
| Token üretimi | 17,00 token/sn | 16,93 token/sn |
| İstenen biçimde doğru JSON | 15/27 | 14/27 |
| Sınırlı biçim ayrıştırmasıyla doğru JSON | 21/27 | 20/27 |
Cevap daha erken bitti ama modelin token üretme hızı pek değişmedi. Ana sette üretilen toplam çıktı 2100 tokendan 1231 tokana indi. Bu sayıya düşünme ve çalıştırıcının zorladığı kapanış işaretleri de dahil; yalnız okuduğumuz Türkçe cevabın uzunluğu değil. Daha az çıktı üretmek, bazı cevaplarda beklemeyi kısalttı.
“İstek boyunca” hızı toplam çıktı tokenını istek süresine böler. İlk cevabı bekleme süresi kısa cevaplarda daha büyük pay tuttuğu için bu oran daha düşük çıkabilir; burada 8,13’ten 6,06 token/sn’ye indi. Bu, token üretim motorunun aynı oranda yavaşladığı anlamına gelmiyor.
Kısa cevap, doğru cevap mı?
Bu denemede hayır. Teslim adetlerini güncelleme sorusunda Ada’nın son adedi 11 olmalıydı; sıfır bütçeli profil üç tekrarda da 14 yazdı. Ücretin son mesajda ücretsiz olarak değiştiği soruda ise eski 200 TL’yi korudu. Önceki low profilinde de bu iki görev tam puan alamamıştı; fakat hataların görünümü farklıydı: adet sorusunda doğru değerler fazladan metinle gelmiş, ücret sorusunda ise 0 yerine null yazılmıştı.
Fatura sorusu da neden yalnız iyi görünen örneği seçmemek gerektiğini gösterdi. Yeni testin ilk tekrarında JSON’un içine hesap işlemleri ve ardından İngilizce bir düzeltme notu geldi. Sonraki iki tekrarda istenen temiz JSON çıktı. Üçü de aynı ayarlarla sorulmuştu; sıcaklığın sıfır olması bu koşuda her cevabın birebir aynı olmasını sağlamadı.
27 sayısı 27 farklı soru demek değil: dokuz JSON görevinin üçer tekrarı. İkinci kontrol yalnız dış kod işaretlerini ve saat noktalamasını ayırıyor; yanlış sayıları düzelterek puan vermiyor. Serbest metinlerde özet ve iki cümlelik açıklama verilen kaynak ve kısıtlarla uyumlu kaldı. E-postadaki “firmaya / firmamıza” bakış açısı belirsizliğini ise kesin bir model hatası diye puanlamadım.
Bu ek deneme 19 Ekim’de, önceki ölçüm 18 Ekim’de yapıldı. Soru sırası sabitti; çalışma günleri ve masaüstünün başlangıç durumu aynı değildi. Dolayısıyla bu tablo her koşulda geçerli bir hız kazancı veya genel kalite sıralaması göstermiyor. Benim bu cihazda gördüğüm, daha kısa bir bekleme karşılığında doğruluğun kendiliğinden iyileşmediği oldu.
Yeni 36 cevabın tamamı kesilmeden geldi. Ek swap artışı ve yeni GPU/OOM olayı gözlenmedi; izlenen sensörlerin en yüksek değeri 71 °C, en düşük kullanılabilir RAM yaklaşık 23,75 GiB idi. Başlangıçta yaklaşık 795 MiB swap kullanımı zaten vardı. Test bitince kendi model sunucusunu kapattım; bellek ve süreçlerin serbest kaldığını kontrol ettim.
Sıfır bütçeli denemede tam istemler ve cevaplar
Aşağıda her sorunun ilk tekrarını değiştirmeden gösteriyorum. Fatura sorusunda ikinci ve üçüncü cevap farklı olduğu için onları da ayrıca ekledim. Diğer 11 sorunun görünür cevapları üç tekrarda aynıydı. İsimler ve kayıtlar sentetik; ayrı düşünme akışı yayımlanmıyor, görünür cevaba karışan notlar aynen korunuyor. İki profilin tüm 72 istem ve cevabı (JSON) indirilebilir.
Sıfır bütçe · invoice · tam istem ve çıktı
Tam istem:
user:
Yalnız JSON nesnesi döndür; Markdown kullanma. Üç ürünün birim fiyatı 240 TL, iki ürünün birim fiyatı 175 TL. Kargo 80 TL. İndirim yalnız ürün toplamına yüzde 10. Anahtarlar urun_toplami, indirim, odenecek; sayılar tam sayı olsun.
İlk tekrarın tam görünür cevabı:
{"urun_toplami": 240*3 + 175*2 = 720 + 350 = 1070, "indirim": 107, "odenecek": 1043}
Wait, must be valid JSON with integer values:
{"urun_toplami": 1070, "indirim": 107, "odenecek": 1043}
2. tekrarın tam görünür cevabı:
{"urun_toplami": 1070, "indirim": 107, "odenecek": 1043}
3. tekrarın tam görünür cevabı:
{"urun_toplami": 1070, "indirim": 107, "odenecek": 1043}
Sıfır bütçe · meeting · tam istem ve çıktı
Tam istem:
user:
Kaynak: Toplantıda teslim tarihi 12 Kasım olarak önerildi. Müşteri henüz yanıt vermedi. Ekip 9 Kasım için iç prova yapacak. Müşteri onaylı teslim tarihi soruluyor. Yalnız şu biçimde JSON yaz: {"onayli_tarih":null,"ic_prova":"..."}. Bilinmeyen değeri uydurma.
İlk tekrarın tam görünür cevabı:
{"onayli_tarih":null,"ic_prova":"9 Kasım"}
Sıfır bütçe · stock · tam istem ve çıktı
Tam istem:
user:
Yalnız JSON: {"kalan":sayı,"karsilanir":true/false}. Depoda 48 kalem var. Sabah 17 satıldı, öğlen 9 geldi. Akşam 43 kalemlik sipariş geldi. Sipariş öncesi kalan kaç ve sipariş bütünüyle karşılanır mı?
İlk tekrarın tam görünür cevabı:
{"kalan": 40, "karsilanir": false}
Sıfır bütçe · support · tam istem ve çıktı
Tam istem:
user:
Politika: Paket 4 kullanıcı içerir. Her ek kullanıcı aylık 90 TL. Paket temel fiyatı kaynakta yok. İptal koşulu belirtilmemiş. Yedi kullanıcı için ek aylık ücreti ve iptal koşulunu yalnız JSON ile yaz. Anahtarlar ek_ucret (tam sayı), iptal_kosulu (bilinmiyorsa null).
İlk tekrarın tam görünür cevabı:
```json
{
"ek_ucret": 270,
"iptal_kosulu": null
}
```
Sıfır bütçe · extract · tam istem ve çıktı
Tam istem:
user:
Metin: Ada 14 kutu, Bora 8 kutu teslim etti. Ada daha sonra 3 kutu geri aldı. Ceren’in teslim adedi belirtilmemiş. Yalnız JSON nesnesinde net teslim adetlerini yaz: Ada, Bora, Ceren. Bilinmeyen için null kullan.
İlk tekrarın tam görünür cevabı:
{"Ada": 14, "Bora": 8, "Ceren": null}
Sıfır bütçe · update · tam istem ve çıktı
Tam istem:
user:
Duyuru bilgisi: Atölye adı Çizgi, gün Pazar, başlangıç 11.00, ücret 200 TL. Güncelleme: başlangıç 13.30 oldu, ücret kaldırıldı. Yalnız JSON: {"ad":"...","gun":"...","saat":"...","ucret":sayı}.
İlk tekrarın tam görünür cevabı:
{"ad":"Çizgi","gun":"Pazar","saat":"13.30","ucret":200}
Sıfır bütçe · privacy · tam istem ve çıktı
Tam istem:
user:
Kayıt: müşteri adı Deniz; e-posta deniz@example.test; sipariş kodu K42; durum hazırlanıyor. Kişisel bilgileri çıkar. Yalnız JSON nesnesinde siparis ve durum alanları kalsın.
İlk tekrarın tam görünür cevabı:
```json
{
"siparis": "K42",
"durum": "hazırlanıyor"
}
```
Sıfır bütçe · order · tam istem ve çıktı
Tam istem:
user:
İşler: A tasarım, B kontrol, C teslim. B için A bitmeli; C için B bitmeli. Yalnız JSON dizisi olarak geçerli sırayı harflerle yaz.
İlk tekrarın tam görünür cevabı:
["A", "B", "C"]
Sıfır bütçe · summary · tam istem ve çıktı
Tam istem:
user:
En fazla iki cümlede özetle. Kaynak: Kütüphane hafta içi 09.00–18.00 açık. Cumartesi kapalı. Pazar açılması önerildi ama karar verilmedi. Yeni kitap bütçesi 4000 TL olarak onaylandı. Öneriyi kesinleşmiş karar gibi anlatma.
İlk tekrarın tam görünür cevabı:
Kütüphane hafta içi 09.00–18.00 saatlerinde açık olup Cumartesi kapalıdır; Pazar günü açılması önerilmiş ancak henüz karar bağlanmamıştır. Yeni kitap alımları için 4000 TL'lik bütçe onaylanmıştır.
Sıfır bütçe · mail · tam istem ve çıktı
Tam istem:
user:
Şu bilgilere dayanarak en fazla 45 kelimelik müşteriye e-posta yaz: Sipariş numarası R18. Kargo henüz firmaya teslim edilmedi. Çıkış tarihi bilinmiyor. Özür dile ve durum netleşince haber verileceğini söyle. Tarih, takip kodu veya bağlantı uydurma.
İlk tekrarın tam görünür cevabı:
Sayın müşterimiz,
Sipariş numaranız R18'e ait kargo henüz firmamıza teslim edilmemiştir. Çıkış tarihi henüz bilinmemektedir. Yaşanan gecikme için özür dileriz. Durum netleştiğinde size derhal bilgi vereceğiz.
Saygılarımızla,
Sıfır bütçe · instruction · tam istem ve çıktı
Tam istem:
user:
Yerel sohbet modelini iki cümlede anlat. İlk cümle tam olarak "Model bu bilgisayarda çalışır." olsun. İkinci cümlede internet olmadan kullanımın model dosyalarının önceden indirilmesine bağlı olduğunu söyle. Başlık veya madde kullanma.
İlk tekrarın tam görünür cevabı:
Model bu bilgisayarda çalışır. İnternet olmadan kullanım, model dosyalarının önceden indirilmiş olmasına bağlıdır.
Sıfır bütçe · conversation · tam istem ve çıktı
Tam istem:
user:
Mert: Yarın 10.00 için iki kişilik yer ayırmak istiyorum.
Görevli: O saat dolu, 11.30 boş.
Mert: Üç kişi olacağız, 11.30 olsun.
Görevli: Talebinizi aldım, rezervasyon henüz onaylanmadı.
Son durumu yalnız JSON ile yaz: {"kisi":sayı,"saat":"...","onaylandi":true/false}.
İlk tekrarın tam görünür cevabı:
{"kisi":3,"saat":"11.30","onaylandi":false}
Bu ek ölçümün teknik sınırları
Aynı UD-IQ2_XXS a38483c8, llama.cpp b11669/620d2225 Vulkan, Radeon 8060S, 2048 bağlam, 768 çıktı tavanı, seed42, sıcaklık0, top_p0,95. İstek ve şablon aynı low değerde; yalnız sunucu reasoning-budget256→0. Enable_thinking=false bu şablonda etkisiz; reasoning_effort=none ise Max’a düşüyor. Gerçek sıfır bütçe sampler tarafından düşünme kapanışı zorlanarak uygulanıyor. Ayrı üç operasyonel kabul, ayrı bir ısınma ve 36 ana istek var; ana ölçüm öncesi profil/kaynak/sorular donduruldu. Isınma dahil37 istekte anında kapanış logu ve boş ayrı reasoning akışı doğrulandı. İstem tokenları eski koşuyla birebir, cache0. Eski36 ham kayıt korunuyor.
Üretim hızı llama.cpp tanımıyla (üretilen token−1)/üretim saniyesi; ilk token girdi işleme evresinde sayılır. Ortancalar istek bazında hesaplandı. Uçtan uca hız completion_tokens/tam istek süresi. Zorunlu kapanış ve varsa düşünme tokenları çıktı sayımına dahil. Koruma eşikleri16GiB RAM/ek128MiB swap/85°C/AC/yeni GPU-OOM ve host/filecache12GiB unit sınırı aynı; 12GiB toplam GPU model belleği değil.






