128 GB birleşik bellekte büyük model yüklerken öğrendiklerim
GLM 5.3 Flash’ın yaklaşık 102 GB paketini yüklerken swap, dosya önbelleği ve çalışma birimi sınırlarıyla karşılaştığım durumlar.
GLM 5.3 Flash’ın yaklaşık 102 GB’lık sıkıştırılmış paketini ASUS Ryzen AI Max+ 395’e indirdikten sonra, dosyaların diskte bulunmasının modeli açmaya yetmediğini gördüm. İlk üç yükleme, cevap üretmeye başlamadan bellek korumasına takıldı. Sonraki denemelerde yükleme yöntemini değiştirerek kısa ön kontrolleri ve 36 yanıtlık çalışmayı tamamladım.
Cihaz ve bellek
- ASUS · AMD Ryzen AI Max+ 395
- Radeon 8060S / gfx1151 · Vulkan / RADV
- 128 GB birleşik bellek; CPU ve GPU aynı fiziksel belleği paylaşır
Model ve çalıştırıcı
- GLM 5.3 Flash · Unsloth UD-IQ2_XXS
- llama.cpp b11669 / 620d2225 · 0.7.0-dev
Çalışma profili
- 2048 token bağlam · tek aktif istek
- Temperature 0 · low düşünme + 256 token sınırı
- Düşünme + cevap toplamı en çok 768 token
Ölçüm kapsamı
- 12 günlük görev × 3 tekrar · 36 yanıt
- 9 JSON görevi · 3 açık metin görevi
- Yükleme ve ayrı ısınma ölçüm dışında
Bu not yükleme deneyimini anlatıyor. Modelin verdiği cevaplar ve bekleme süreleri ana deneyim yazısında.
Kullanılabilir bellek ile tamamen boş bellek aynı şey değil
Linux, dosyaları tekrar okumayı hızlandırmak için boş belleği önbellek olarak kullanıyor. Bellek ekranındaki “kullanılabilir” sayı, gerektiğinde geri alınabilecek bu alanı da içeriyor. Bu nedenle yüksek bir kullanılabilir bellek değeri, büyük bir dosya yüklenirken masaüstünün hiç takas alanına başvurmayacağını tek başına göstermiyor.
Bu cihazda işlemciyle Radeon 8060S aynı fiziksel belleği paylaşıyor. GPU için görünen 122 GiB eşleme tavanını sistem belleğine ekleyemem; ikinci bir bellek havuzu değil. Model dosyaları da toplam 94,85 GiB. İşletim sistemi, açık uygulamalar ve yüklemenin geçici ihtiyaçları için pay bırakmak gerekiyor.
İlk açılışlarda modelin kendi çalışma biriminde swap sayacı sıfır kalırken masaüstündeki başka süreçlerin swap kullanımı arttı. Başlangıca göre 128 MiB ek global swap koruması çalışmayı durdurdu. Bu korumayı, en az 16 GiB kullanılabilir bellek ve 85 °C sıcaklık sınırını gevşetmedim.
Burada çalışan yükleme düzeni
Yalnızca doğrulanmış dört model dosyasına, temiz dosya önbelleğinin bırakılabileceğini söyleyen POSIX_FADV_DONTNEED tavsiyesini verdim. Bu, dosyaları silmiyor veya içeriklerini değiştirmiyor. Linux arayüzünün tanımı bunun bağlayıcı bir boşaltma emri olmadığını da açıklıyor.
Dosyaya özel bu adımı, modelin çalışma birimindeki CPU ve dosya önbelleği hesabına 12 GiB bellek sınırı koyarak kullandım. Birimin swap sınırı sıfır kaldı. Yükleyicide doğrudan disk okuması istendi; ancak günlükler bazı okumaların normal tamponlu okumaya döndüğünü gösterdi. Dolayısıyla sonucu yalnız “doğrudan okuma sorunu çözdü” diye anlatamam.
Buradaki 12 GiB, modelin toplam bellek ihtiyacı değil. GPU’ya yerleşen ağırlıklar bu çalışma biriminin CPU/dosya önbelleği sayacında bütünüyle görünmüyor. Ana koşuda model sürecine ait GPU bellek kaydı yaklaşık 92,5 GiB seviyesine ulaştı. Bu değeri işletim sistemi belleğine veya başka GPU sayaçlarına eklemiyorum.
Yalnız önbellek tavsiyesiyle yapılan önceki deneme de durmuştu. Başarılı düzen, bu dosya adımıyla çalışma birimi sınırının birlikte kullanıldığı düzendi. Denemeler arasında masaüstünün başlangıç durumu da değişti; tek bir değişkenin neden olduğunu ispatlayan kontrollü bir karşılaştırma yapmadım.
Sonrasında neyi kontrol ettim?
Aynı düzenle kısa operasyonel kontroller ve ardından 12 görevin üçer tekrarından oluşan ana çalışma tamamlandı. Ana koşuda başlangıca göre net ek global swap gözlenmedi; fakat önceki yüklemelerden yaklaşık 865 MiB swap zaten mevcuttu. “Sistemde hiç swap yoktu” demek doğru olmaz.
Örneklenen kullanılabilir bellek en az 24,95 GiB, izlenen sensörlerde sıcaklık en çok 71 °C oldu. Yeni GPU hata veya bellek tükenmesi olayı görülmedi. Sunucu ve istemci kapandı, çalışma biriminde model süreci kalmadı, model portu kapandı ve kullanılabilir bellek başlangıç düzeyine döndü.
Bu kısa çalışmanın geçmesi uzun süreli kararlılık garantisi değil. Yöntem de her Linux/AMD kurulumu için hazır bir “12 GB yeter” reçetesi değil; buradaki sürüm, yükleyici ve paylaşımlı bellek davranışına ait bir deneyim. Sistem genelinde önbellek boşaltma, swap kapatma, sürücü değişimi veya sistem Python’una paket kurulumu yapmadım.
Bu notun çalışma ortamı
- ASUS, AMD Ryzen AI Max+ 395, Radeon 8060S / gfx1151, 128 GB birleşik bellek.
- GLM 5.3 Flash, Unsloth UD-IQ2_XXS; dört GGUF dosyası boyut ve SHA-256 ile doğrulandı.
- Resmî llama.cpp b11669 / 620d2225, 0.7.0-dev; Vulkan/RADV.
- Ubuntu 26.04.1, Linux 7.0.0-38-generic. Ölçüm tarihi 18 Ekim 2026.
- Ana profil: 2048 token bağlam, tek istek; low düşünme ve ek 256 düşünme token sınırı, düşünme ve cevap birlikte en çok 768 çıktı tokenı.