tüm notlar
Not · · 3 dk okuma ·

Bir hız sayısının yanına ne yazıyorum?

Kart sayısı, girdi, cache ve eşzamanlılık: sonuçları okurken tuttuğum notlar.

Kullanılan teknolojiler ve ortam

Ölçüm ortamı

  • Qwen3.8-27B · NVFP4
  • RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • vLLM · CUDA

Kaydedilen koşullar

  • GPU sayısı · TP / PP yerleşimi
  • Girdi / çıktı token bütçesi
  • Prefix cache · MTP
  • Eşzamanlılık · TTFT · yanıt süresi

Bir testten çıkan token/sn sayısını tek başına kaydetmek yeterli olmuyor. Aynı modelin sonuçlarını karşılaştırırken istemi, çıktı uzunluğunu, kartlara nasıl bölündüğünü ve aynı anda kaç istek gönderdiğimi de yazıyorum.

Kart sayısının yanında yöntem de var

GPU karşılaştırmasında tek kartta TP1, iki kartta TP2, üç kartta PP3 kullandım. İki kart daha hızlı çıktı; ama üçüncü kartla birlikte paralellik yöntemi de değişti. Bu sonuçtan her modelde iki kartın üç karttan hızlı olacağı sonucunu çıkaramam. Ölçüm tablosu ve koşulları aynı yazıda duruyor.

Girdi ve cache sonucu değiştiriyor

Çoklu model testinde kısa, tekrarlanan uzun ve benzersiz uzun girdileri ayrı ölçtüm. Tekrarlanan girdide sıcak prefix cache ile alınan sonucu, her isteğin farklı olduğu bir yükün sonucu gibi sunmuyorum. Model adı aynı kalsa bile bu koşullar karşılaştırmanın parçası.

Toplam hız, benim gördüğüm hız mı?

Aynı anda birkaç istek çalışırken toplam üretilen token sayısı ile bir kullanıcının üretim hızı farklı. Bu yüzden toplam throughput, kullanıcı başına decode hızı ve yanıt süresini ayrı kaydediyorum. Birini diğerinin yerine kullanınca sistem olduğundan farklı görünebiliyor.

Testin bittiği yer

GPU ölçekleme testinde her yanıtta 512 token üretmek için EOS yok sayıldı. Bu sabit uzunluklu ölçüm, doğal bir sohbetin tamamlanma süresiyle aynı şey değil. Benzer biçimde 15 dakikalık başarılı sentetik yük testi de uzun süreli kararlılık veya gerçek kullanıcı deneyiminin tamamı değil.

Sonucu yeniden okuyabilmek için model ve sürüm, kart sayısı, paralellik, girdi/çıktı uzunluğu, cache durumu, eşzamanlılık ve tekrar sayısını birlikte tutuyorum. Sonraki denemede değişen ayarı böyle ayırabiliyorum.

Kaynak: 11 Ekim 2026 GPU ölçekleme ve çoklu model ölçüm kayıtları. Buradaki gözlemler o testlerin koşullarıyla sınırlı.

ölçüm → not → yeniden denemediğer not