tüm testler
Benchmark · · 10 dk okuma ·

Uzun girdide Qwen: cache, TP2 ve iki model kopyası

Uzun bağlamda bekleme süresi ve aynı iki RTX 5090 üzerinde tek bölünmüş model ile iki bağımsız kopyanın 864 istekli ölçümü.

Kullanılan teknolojiler ve ortam

Model ortamı

  • Qwen3.8-27B · NVFP4
  • 2× RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • vLLM · CUDA · BF16 KV
  • MTP3 · 16K bağlam

Karşılaştırılan ayarlar

  • TP2 tek model · iki TP1 kopya
  • Toplam 10 sequence · 2.048 batch tokenı
  • 4K / 8K / 16K bağlam bütçesi
  • Soğuk girdi · ısıtılmış ortak prefix

Önceki MTP testinde aynı Qwen’in birkaç tokenı önden tahmin etmesinin hız ve doğruluk üzerindeki etkisine bakmıştım. Bu kez soruyu değiştirdim: uzun bir belgeyi birden fazla istekle gönderince bekleme nerede büyüyor? Sonra aynı iki 5090’ı kullanmanın iki yolunu karşılaştırdım: modeli iki karta bölmek veya her kartta tam bir model kopyası çalıştırmak.

İlk çalışmada 288, yerleşim karşılaştırmasında 576 ölçülen istek vardı. Sentetik belgelerdeki üç bilinen kaydı ve bir bulunmayan kaydı sordum. Ölçülen 864 isteğin tamamı beklenen JSON biçiminde doğru yanıt verdi; HTTP hatası veya çıktı sınırında kesilme olmadı. Bu, bu soruların sonucu. Genel belge arama kalitesinin veya gerçek müşteri kapasitesinin ölçümü değil.

Aynı kalan koşullar

Qwen3.8-27B NVFP4, aynı ağırlık revisionı, MTP3, BF16 KV cache ve 16.384 token model limiti kullandım. Yerleşim testinde fiziksel GPU0 ve GPU1 aynı iki RTX 5090’dı; her kart 32 GB VRAM. Makine Threadripper PRO 5955WX ve 256 GB DDR4 RAM. Üçüncü karttaki coder ve embedding bu karşılaştırmaya katılmadı.

Her iki çalışmada da 4K, 8K ve 16K toplam bağlam bütçeleriyle 1, 5 ve 10 eşzamanlı HTTP isteği gönderdim. Gerçek girdi uzunlukları 3.558, 7.653 ve 15.843 tokendı; chat şablonu dahil. En çok 512 çıktı tokenı istedim, model doğal bitişinde durdu. Temperature 0, top_p 1, top_k −1, presence_penalty 0, seed 42; thinking kapalı. 16K girdi üstüne ayrıca 512 token eklemedim; girdi ve istenen çıktı birlikte limite sığıyordu.

Ölçüm başlamadan veri, çalıştırma ve değerlendirme kodu sabitlendi. Isınma ve cache hazırlama çağrılarını sonuçlara katmadım. Her hücre üç ayrı partiden oluşuyor. Tek kullanıcı hücresinde üç, beş istekte 15, on istekte 30 yanıt var; özellikle p95’i bu küçük örnek sayısıyla okumak gerekiyor.

Önce uzun bağlam ve cache

İlk testte üretimde kullandığım TP2/MTP3 profilini değiştirmedim. İki durumu karşılaştırdım: modelin girdiyi ilk kez işlemesi ve girdinin ortak başlangıcının önceden işlenmiş olması. İkinci durumda model, metnin bu kısmı için daha önce yaptığı hesabı yeniden kullanabiliyor. Bu hazır hesapların saklandığı belleğe cache deniyor. İlk durumda her isteğin başlangıcı farklıydı ve önceki hesabı kullanmasını engelleyen ayrı bir cache kimliği vardı. İkinci durumda aynı başlangıcı paylaşan girdilerden önce bir hazırlık isteği gönderdim. Yani yalnız bir ayarı açıp kapatmadım; metnin ortak olması ve önceden işlenmesi birlikte değişti.

Bağlam bütçesiGirdi ilk kez işleniyorOrtak girdi önceden işlendi
4K12,41 sn4,94 sn
8K25,39 sn5,36 sn
16K51,94 sn6,14 sn

Tablo, 10 isteğin tamamının bitişine kadar geçen sürenin üç parti medyanı. Tek bir kişinin yanıt süresi değil. 16K/10 istekte tekil yanıtın medyan ilk token süresi girdi ilk kez işlenirken 27,98 saniye, ortak girdi önceden işlenmişken 2,70 saniyeydi. Medyan toplam yanıt süresi de 45,67’den 6,00 saniyeye indi.

TP2 uzun bağlam testinde ilk kez işlenen ve ortak kısmı önceden işlenen girdinin ilk token süresi.
İlk çalışma: tekil isteklerin ilk içerik tokenı süresi. Parti bitiş süresi tablodaki ayrı ölçüm.

Cache sayaçları da farkı doğruladı: 10 istekli girdinin ilk kez işlendiği koşullarda isabet sıfırdı; ortak kısmı önceden işlenen girdide 4K için %67,5, 8K için %83,6, 16K için %90,9 oldu. Bu kazancın önünde ayrıca ortak girdiyi hazırlayan bir çağrı var; onun süresi bu tablonun dışında.

Sonra aynı iki kartta iki yerleşim

İkinci testte bir TP2 kopya ile iki bağımsız TP1 kopyayı karşılaştırdım. Modelin hassasiyetini veya revisionını tek tarafta değiştirmedim. Önce aynı NVFP4/MTP3 modelin tek kartta 16K ayarıyla açılıp gerçek yanıt verdiğini doğruladım.

Toplam kabul bütçesi iki tarafta da 10 sequence ve 2.048 batch tokenıydı. TP2 tek engine’de 10/2.048; iki kopyada her engine 5/1.024 kullandı. GPU bellek kullanım oranı her kartta 0,9. İki kopyada ağırlıkların iki kez tutulması ve KV havuzlarının ayrılması yerleşimin doğal maliyeti; bunları yapay olarak aynı bellek havuzu hâline getirmedim.

İstekleri istemci tarafında sırayla iki kopyaya dağıttım; 10 istekte beşer, beş istekte üç ve iki istek düştü. Tek kullanıcı tekrarlarında kart seçimi dönüşümlüydü. Üretim routerının yönlendirme veya kuyruk performansını bu teste katmadım. Altı blok sırası TP2, kopyalar, kopyalar, TP2, TP2, kopyalar; her blok yeni model süreçleri ve ayrı ısınmayla başladı. Eşlenmiş tekrarlar aynı mesajları ve aynı parti sırasını kullandı.

10 eşzamanlı istekte TP2 tek model ile iki TP1 kopyanın ilk kez işlenen ve önceden işlenen ortak girdi bitiş süreleri.
İkinci çalışma: 10 isteğin tamamının bitiş süresi, üç parti medyanı. İki panelin dikey ölçekleri farklı; değerleri saniye etiketinden okuyun.
10 istek · girdi ilk kez işleniyorTP2 tek modelİki TP1 kopya
4K11,71 sn4,22 sn
8K24,37 sn7,34 sn
16K49,62 sn13,88 sn

Bu yükte iki kopya daha kısa parti süresi verdi. 16K/10 istekte, girdi ilk kez işlenirken gerçek çıktı throughput’unun medyanı TP2’de 27,19, iki kopyada 92,91 token/sn oldu. Bunlar toplam çıktı hızı; kişi başına hız değil. Aynı hücrede ilk token p50/p95 TP2’de 26,42/48,08 saniye, iki kopyada 7,73/12,95 saniye; tekil toplam yanıt p95 ise 50,82 ve 13,84 saniyeydi.

İstenen çıktı sınırı aynı olsa da modelin doğal bitişi nedeniyle üretilen token sayısı aynı çıkmadı. 16K/10 ilk işleme koşulunun üç partisinde TP2 toplam 4.089, iki kopya 3.769 çıktı tokenı üretti. Bu yüzden yalnız duvar zamanı oranını “aynı sayıda tokenı şu kadar hızlı üretti” diye yorumlamıyorum.

Tek istekte kazanan her zaman aynı değil

Tek istekte bağlam ve girdinin önceden işlenme durumuna göre TP2 ile TP1 yanıt süreleri.
Tek istek: iki kopya yerleşiminde yalnız yönlendirilen kart işi yapıyor. Her sütun üç tekrarın medyanı.

4K girdinin ortak kısmı önceden işlenmişken tek isteğin bitişi TP2’de 0,85 saniye, tek TP1 kopyada 1,21 saniyeydi. 16K girdi ilk kez işlenirken ise TP2 5,66 saniye, TP1 3,31 saniye sürdü. Birden fazla istekte iki kopya bu ölçümde açıkça avantajlıydı; tek sohbet için karar girdinin uzunluğuna ve cache durumuna göre değişiyor.

Neyi söyleyebilirim

Bu model tek 5090’a sığdığı için iki tam kopya çalıştırma seçeneği vardı. Uzun, farklı girdileri birden fazla isteğe dağıtırken bu seçenek benim testimde daha iyi sonuç verdi. Model tek karta sığmıyorsa aynı seçim zaten mümkün olmayabilir. İki ayrı kopyada ağırlıklara ayrılan toplam bellek büyür, cache paylaşımı da iki havuza bölünür.

İki engine’in kuyrukları ve TP2’nin tek kuyruğu gözlendi. Ancak istek başına saf kuyruk süresini ayrı ölçmedim. Kartlar arası iletişim olası bir açıklama; profiler kaydı olmadan hız farkının tamamını buna bağlamıyorum. MTP bu iki testte de açıktı; buradan MTP açık/kapalı sonucu çıkarılamaz.

Belgeler sentetikti: üç hedef kayıt başlangıç, orta ve sona yerleştirildi; dördüncü istenen kayıt yoktu. Cevapta tutar, kaynak kimliği ve bulunmayan bilgi için null kontrol edildi. Embedding ile kaynak getirme, OCR, gerçek kullanıcı trafiği veya geniş bir kalite değerlendirmesi yapılmadı. On HTTP isteği göndermek de on kişinin aynı anda kesintisiz decode yaptığı anlamına gelmiyor.

Ölçümlerden sonra geçici servisleri kapatıp mevcut üretim profilini geri açtım. Gerçek JSON yanıtını, ana servis betiğinin değişmediğini ve diğer servislerin PID’lerini kontrol ettim. Kalıcı yerleşimi bu sonuçla otomatik değiştirmedim.

Teknik kaynak

13 Ekim 2026 ölçümleri. vLLM 0.30.0, PyTorch 2.13.0+cu132, Transformers 5.18.0, FlashInfer 0.6.18.post1. NVIDIA Qwen3.8-27B-NVFP4 revision 482ca0f3832238542f8f5295dde86b5f22711d80. İlk çalışma 288 ölçüm, 48 ısınma, 27 primer; yerleşim çalışması 576 ölçüm, 180 ısınma ve iki engine için ayrı primerlar. Ham istek, SSE, yanıt, token ve telemetri kayıtları saklandı.

Yöntem kavramları: vLLM paralellik ve ölçekleme belgesi ↗. Önceki yazılar: MTP doğruluk ve eşzamanlı istek testi · Prefix cache denemesi · Bir, iki ve üç kartta Qwen.

ölçüm → not → yeniden denemediğer test