GLM’yi ROCm’da çalıştırırken takıldığım üç nokta
gfx1151 kernel hatası, KV bütçesi ve LSE eksen uyumsuzluğu: belirtiler, yerel çözümler ve doğrulama sınırları.
ROCm ortamı
- GLM-4.7-Flash · BF16
- Ryzen AI Max+ 395 · Radeon 8060S
- 128 GB birleşik bellek
- vLLM 0.31.0 · ROCm 7.2.3
- TP1 · BF16 KV · 6 GiB KV
- 16K bağlam · 5 sequence · eager
Hata ve doğrulama
- gfx1151 · CK prefill kernel hatası
- KV 33,96 → 6 GiB
- Süreç içi LSE adaptörü
- GPU üzerinde 4 referans testi
- 16 Ekim 2026 kurulum kaydı
GLM-4.7-Flash BF16 kurulumunda modelin yüklenmesi tek başına yeterli olmadı. Kısa bir isteğin geçmesi, uzun ve eşzamanlı girdilerin de doğru çalışacağını göstermiyordu. Ryzen AI Max+ 395 üzerindeki denemede kernel seçimi, KV bellek bütçesi ve attention çıktısının düzeni için üç ayrı sorunla uğraştım.
Bu not, 16 Ekim’de tamamlanan koşunun kurulum günlüğü. Buradaki çözümler Radeon 8060S / gfx1151, vLLM 0.31.0+rocm723 ve kullanılan AMD PyTorch paketlerine ait. Başka bir ROCm veya vLLM sürümünde aynı müdahalenin gerektiğini varsaymıyorum.
Decode seçimi prefill’i belirlemiyordu
Sunucuda decode için TRITON_MLA seçiliydi. Buna rağmen ilk gerçek istekte, girdiyi işleyen prefill yolu CK FlashAttention kullanıyordu. gfx1151 üzerinde device kernel image is invalid hatası çıktı. CLI’nin açılması ve model ağırlıklarının yüklenmesi bu kernel yolunu doğrulamamıştı.
Yalnız model sürecinin ortamında FLASH_ATTENTION_TRITON_AMD_ENABLE=TRUE kullanarak prefill’i Triton AMD FlashAttention yoluna geçirdim. Decode TRITON_MLA olarak kaldı; MoE tarafı TritonExperts kullandı. Sistem Python’unu veya sürücüyü değiştirmedim. Kurulu paket dosyalarını da bu seçim için düzenlemedim.
Ardından gerçek istekle prefill/decode akışını tekrar kontrol ettim. Bu kontrol motorun çalıştığını gösteriyor; modelin her cevabının doğru olduğunu göstermiyor. Kısa ön kontroldeki yanlış aritmetik cevabı ve Markdown biçim ihlalini kayıtlarından çıkarmadım.
Birleşik bellek, sınırsız KV demek değil
Otomatik seçim yaklaşık 33,96 GiB KV bütçesi ayırdı. Yükleme sırasında swap baskısı gözlendi. Cihazın 128 GB birleşik belleği olması, bunun tamamının KV için rahatça kullanılabileceği anlamına gelmiyor. Model, işletim sistemi ve diğer tahsisler aynı fiziksel belleği paylaşıyor.
Bu koşuda KV bütçesini --kv-cache-memory-bytes 6442450944 ile 6 GiB’a sabitledim. Ortak 16K bağlam, 5 sequence, 1.024 batch tokenı, eager çalışma, kapalı MTP ve kapalı prefix cache ayarları korundu. Dinamik GTT üst sınırı da ayrılmış fiziksel RAM gibi yorumlanmadı.
Bellek kontrolü, koşu başlamadan önceki swap kullanımını ayrı kaydetti. Başlangıca göre 256 MiB ek swap veya 8 GiB’ın altında kullanılabilir RAM durdurma sınırıydı. Eski swap kullanımını yeni koşunun yarattığı baskı diye saymadım. 6 GiB bu denemede kullandığım bütçe; bütün modeller için önerilen sabit değer değil.
Kısa istek geçti, çoklu uzun prefill takıldı
8K girdileri çoğaltınca attention içinde 1017/20 boyut uyuşmazlığı ortaya çıktı. Kurulu Triton AMD varlen arayüzünün LSE çıktısı [total_q, heads], vLLM’nin o noktada beklediği düzen ise [heads, total_q] idi.
Başlatıcıya yalnız çalışan süreçte uygulanan bir adaptör ekledim. Adaptör, ilgili prefill dönüşündeki LSE eksenlerini çeviriyor; venv içindeki paket dosyalarını değiştirmiyor. Böylece müdahalenin kaynağı ve hash’i ayrı tutulabiliyor.
Dört gerçek GPU referans kontrolünde attention çıktısının en büyük mutlak farkı 0,008074, LSE farkı yaklaşık 0,000001908 oldu. Referans fp32 attention/logsumexp hesabıydı. Bu dört kontrol, uygulanan dönüşümü seçili durumlarda sınadı; genel bir kernel doğruluğu sertifikası değil.
Uyumsuz LSE ile alınmış önceki uzun girdi yanıtlarını hız veya kalite sonucuna katmadım. Adaptör sonrasında 8K×1/3/5 kapasite kontrolleri yeniden geçti; ana koşu ayrı bir denemede üretildi. Adaptör kodu, hata kayıtları ve başarısız başlangıçlar korundu.
Sonunda ne doğrulandı?
Yeni koşuda 153 ana istek ve onlardan ayrı 30 ısınma isteği tamamlandı. Ana koşuda HTTP/SSE hatası ve çıktı sınırından kesilme olmadı. Buna rağmen yük bölümünün katı çıktı sözleşmesi sonucu 0/81’di. Motoru çalıştırabilmek ile istenen biçimde doğru yanıt alabilmek aynı kabul değil.
İndirme, model yükleme, kernel derleme ve hata çözme sürelerini ana hız ölçümüne eklemedim. Tam koşuyu kapsayan sayısal preemption arşivi tutulmadığı için birkaç log görüntüsünden “hiç yeniden hesaplama olmadı” sonucu da çıkarmıyorum.
Aynı modelin ROCm ve CUDA ortamlarındaki sonuçları · CUDA tarafındaki kurulum ve ölçüm notları