tüm notlar
Not · · 5 dk okuma ·

GLM testinde token sayımı ve VRAM bütçesi neden takıldı?

CUDA ortamında token dönüş tipi, TP2 başlangıcındaki VRAM sınırı ve p95 hesabının düzeltilmesi.

Kullanılan teknolojiler ve ortam

CUDA ortamı

  • GLM-4.7-Flash · BF16
  • 2× RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • vLLM 0.30.0 · CUDA 13.2 paketleri
  • TP2 · BF16 KV · 19.872 token KV
  • 16K bağlam · 5 sequence · eager

Ölçüm ve geri dönüş

  • Token dönüş tipi: return_dict=False
  • VRAM oranı: 0,98 → 0,97
  • p95: nearest-rank ceil(p × n)
  • Ham sonuç / FROZEN korundu
  • Üretim gerçek JSON ile geri doğrulandı

GLM-4.7-Flash BF16’yı iki RTX 5090 üzerinde çalıştırırken iki sorun ana ölçüm başlamadan çıktı: yerel token kontrolüm yanlış dönüş tipini sayıyordu; ilk bellek oranı da kartlarda boş olandan fazlasını istiyordu. Sonuçları gözden geçirirken p95 hesabında üçüncü bir yöntem hatası bulduk.

Bu not, 16 Ekim’deki CUDA / TP2 koşusunun kaydı. Ortam vLLM 0.30.0, CUDA 13.2 paketleri, BF16 ağırlık ve BF16 KV idi. Sistem sürücüsünü veya Python’unu değiştirerek çözmedim.

Token listesi yerine sözlüğü saymışım

Benchmark öncesinde, hazırladığım istemin gerçek token sayısıyla API’nin bildirdiği sayıyı karşılaştırıyordum. Yerel kontrolde apply_chat_template dönüşünü liste varsayıp len(...) kullanmıştım. Dönen nesne sözlük olunca bu işlem token sayısı yerine sözlüğün alan sayısını verdi.

Ortak hazırlama koduyla aynı dönüş tipini açıkça seçmek için return_dict=False kullandım. Sonra 81 yük isteminin token sayılarını yeniden doğruladım. İstemleri kısaltmadım, değerlendirme sorularını veya puanlayıcıyı değiştirmedim; hatalı olan yerel kontrolü düzelttim.

Nihai koşuda iki ortamın 153 ana isteğinin prompt token sayıları tek tek eşleşti. Ana ve ısınma birlikte 183 gerçek istek gövdesi de JSON içeriği bakımından karşılıklı kontrol edildi. Böylece yalnız toplam token sayısının aynı olmasına güvenmedim.

0,98 bellek oranı neden başlamadı?

İlk TP2 başlangıcında gpu_memory_utilization=0.98 kullanılmıştı. Log, her kartta yaklaşık 30,46 GiB boş bellek olduğunu; seçilen oranın ise yaklaşık 30,73 GiB istediğini gösterdi. Motor ana ölçüme geçmeden başlatmayı reddetti.

Bu başarısız başlangıçtan sonra önceki Qwen profilini geri açıp gerçek JSON isteğiyle çalıştığını doğruladım. Ayrı GLM denemesinde oranı 0,97’ye indirdim. Model o profilde yüklendi; ağırlıklar kart başına yaklaşık 28,08 GiB, KV bütçesi yaklaşık 1 GiB oldu. Logdaki KV kapasitesi 19.872 tokendı.

Bu küçük oran değişikliği başlatmayı mümkün kıldı ama kapasite farkını ortadan kaldırmadı. Beş adet 8K HTTP isteğini aynı anda göndermek, beş isteğin bütün KV verisinin aynı anda bellekte kalacağı anlamına gelmiyor. Kuyruk ve varsa yeniden hesaplama, ölçülen gecikmenin parçası. Tüm koşuya ait sayısal preemption arşivi olmadığı için sıfır preemption iddiası yok.

Bu nedenle sonucu yalnız “AMD’ye karşı NVIDIA” şeklinde okumuyorum. TP1/TP2 yerleşimi, kernel yolları, işlemci, birleşik bellek/VRAM düzeni ve 6 GiB/yaklaşık 1 GiB KV bütçesi de farklı.

Üç tekrarın p95’i medyan çıkıyordu

İlk türetilmiş raporda yüzdelik sıra seçimi floor(0.95 * (n - 1)) idi. Üç örnekte ortadaki değeri seçiyordu. Bunu yöntem belirtmeden standart p95 gibi sunmak doğru değildi.

ASUS ajanı bağımsız kontrolde bu noktayı işaretledi. Türetilmiş özeti nearest-rank, yani sıralı dizide bir tabanlı ceil(0.95 * n) seçimiyle yeniden ürettim. Dokuz koşulun TTFT, E2E ve grup hızı için toplam 27 p95 alanı tekrar kontrol edildi. Üç örnekle hesaplanan p95 yine küçük örnekleme dayanır; uzun dönem gecikme garantisi değildir.

Ham sonuç dosyalarını ve donmuş koşu ayarlarını değiştirmedim. Eski özet ayrı kaldı; yeni pakette ham sonuç ve FROZEN dosyalarının önceki sürümle bayt olarak aynı olduğu doğrulandı. Yazının kullandığı medyanlar bu düzeltmeden etkilenmedi.

Başarısız başlangıçlar ölçümün dışında, kaydın içinde

Başlangıç loglarını silmedim. İndirme, yükleme, ön kabul ve ısınma ana ölçümden ayrı tutuldu. Nihai koşuda 153 ana istek ile 30 ayrı ısınma tamamlandı; ana koşuda transport hatası veya çıktı sınırından kesilme yoktu. Yükteki katı çıktı sözleşmesi sonucu yine 0/81’di; çalışan servis, başarılı görev demek değil.

Ölçüm sonunda önceki Qwen profili gerçek JSON yanıtıyla geri doğrulandı. Üretim başlatıcısının kaynak hash’i ve diğer model servislerinin PID’leri aynı kaldı. Sorun çözümünü benchmark sonucuna, benchmark sonucunu da mevcut servisin sağlığına karıştırmadan ayrı kontrol ettim.

ROCm tarafındaki kernel ve bellek notları · Karşılaştırmanın sonuçları

ölçüm → not → yeniden denemediğer not