tüm testler
Benchmark · · 4 dk okuma ·

Qwen’i 1, 2 ve 3 kartta çalıştırmak

Tek sohbet hızında kart sayısı ve paralellik yönteminin etkisi.

Kullanılan teknolojiler ve ortam

Model ve donanım

  • Qwen3.8-27B · NVFP4
  • 1 / 2 / 3× RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX

Karşılaştırılan ortamlar

  • vLLM · CUDA · FlashInfer
  • TP1 / TP2 / PP3 · MTP3
  • BF16 KV · 4K bağlam
  • Prefix cache kapalı · tek aktif istek

Qwen3.8-27B NVFP4 modelini tek, iki ve üç RTX 5090 üzerinde aynı üç Türkçe istemle çalıştırdım. Amaç, tek bir sohbetin üretim hızını karşılaştırmaktı. Her istem için ısınmadan sonra üç ölçüm yaptım; her yanıtta 512 token ürettirdim.

Açıklama istemi · üretim hızı token/sn
1 kart · TP1
86,57
2 kart · TP2
113,24
3 kart · PP3
90,91

Qwen3.8-27B NVFP4 · RTX 5090 / 32 GB · 3 tekrar medyanı · 512 çıktı tokenı

Ölçüm düzeni

Tek kartta TP1, iki kartta TP2, üç kartta PP3 kullandım. Üç kartlık düzen ile iki kartlık düzen aynı paralellik yöntemi değil. Bu yüzden sonuçları yalnız kart sayısının etkisi olarak okumamak gerekiyor.

İstem1 kart / TP12 kart / TP23 kart / PP3
Açıklama86,57113,2490,91
Kod117,49147,86118,85
Hikâye79,4495,2775,40

Üretim token/sn · her hücre üç tekrarın medyanı. Toplam 27 ölçüm.

Bu testte ne çıktı?

İki kartlık TP2 düzeni üç istemde de en yüksek üretim hızını verdi. Örneğin açıklama isteminde 113,24 token/sn ölçtüm; aynı istem tek kartta 86,57, üç kart PP3 düzeninde 90,91 token/sn oldu.

Bu ölçüm tek aktif sohbet içindi. Çoklu kullanıcı kapasitesi, yanıt kalitesi, enerji tüketimi ve uzun süreli kararlılık bu deneyin kapsamında değildi. Sabit uzunluk için EOS yok sayıldı; doğal sohbet yanıtlarının tamamlanma süresiyle aynı ölçüm değil.

Tekrar etmek için

vLLM, FlashInfer, BF16 KV/dtype, MTP3; düşünme ve prefix cache kapalı. Bağlam 4096, batch 1024, bellek oranı 0,90. Temperature ve presence penalty 0. Aynı açıklama, kod ve hikâye istemleri; her profil önce ısıtılıyor.

Threadripper PRO 5955WX ve RTX 5090 kartları kullanıldı. Test sırasında işletim sistemi 123 GiB RAM gördü; bildirilen fiziksel 256 GB ile bu fark henüz çözülmedi.

Yöntem için vLLM paralellik belgeleri ↗. Kaynak: 11 Ekim 2026 GPU ölçekleme ölçüm kaydı, 27/27 başarılı istek.

ölçüm → not → yeniden denemediğer test