tüm testler
Benchmark · · 5 dk okuma ·

Aynı uzun girdiyi tekrar gönderince ne değişti?

1K, 4K ve 8K token girdilerde Qwen’in ilk yanıt süresini ve prefix cache kullanımını ölçtüm.

Kullanılan teknolojiler ve ortam

Model ve yerleşim

  • Qwen3.8-27B · NVFP4
  • RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • Qwen: GPU0/1 · TP2/MTP3

Yazılım ortamı

  • vLLM 0.30.0
  • PyTorch 2.13.0+cu132
  • FlashInfer 0.6.18.post1
  • Transformers 5.18.0
  • Doğrudan localhost HTTP

Aynı uzun metni Qwen’e tekrar gönderdiğimde ilk yanıtın ne kadar erken geldiğini ölçtüm. Yaklaşık 1K, 4K ve 8K token girdiler kullandım; metnin içindeki bir kodu bulup JSON olarak döndürmesini istedim.

Qwen’de 1K, 4K ve 8K girdiler: sıcak ve soğuk prefix cache ilk yanıt süreleri
Qwen’de 1K, 4K ve 8K girdiler: sıcak ve soğuk prefix cache ilk yanıt süreleri · grafiği büyütmek için dokun.
Hedef girdiSoğuk prefix medyanıSıcak prefix medyanıMedyan cache hit tokenı
1K353,08 ms353,52 ms0
4K1364,81 ms318,01 ms3200
8K2842,14 ms353,98 ms7200

Tekrar göndermek her uzunlukta hız kazandırmadı

4K girdide ilk içerik yaklaşık 1,36 saniyeden 0,32 saniyeye, 8K girdide 2,84 saniyeden 0,35 saniyeye indi. 1K’da ise ölçülen cache hit sıfırdı ve belirgin fark oluşmadı. Aynı metni göndermiş olmaktan cache’in mutlaka kullanıldığı sonucunu çıkarmadım; backend sayaçlarını da kaydettim.

Sıcak ve soğuk ne demek?

İlk doldurma ve sıcak tekrarlar aynı benchmark cache namespace’ini kullandı. Soğuk prefix denemelerinin her birinde farklı salt vardı. Üretim tenant cache’leriyle paylaşım yapılmadı; cache temizlenmedi. Buradaki soğuk, CUDA kernel veya modelin yeniden başlatılmış olması anlamına gelmiyor.

Üç uzunlukta kanıt satırını metnin yüzde 10, 50 ve 90 konumlarına koydum. Her koşulda bir doldurma, dört sıcak ve dört soğuk istek vardı: toplam 81. Her uzunluk/sıcaklık grubundaki 12 ölçüm yalnız üç farklı istemin tekrarı.

Uzun metinde bilgi bulma

Kod 81 isteğin tamamında doğru bulundu. Gerçek girdi sayıları chat şablonu dahil 1004, 4107–4108 ve 8211–8213 tokendi. Temperature 0,2, seed 42, çıktı bütçesi 64 token; doğal bitiş kullanıldı. İlk doldurma istekleri sıcak/soğuk karşılaştırmadan ayrı tutuldu.

Bu kolay bir bilgi bulma görevi. Uzun belgede kapsamlı soru cevaplama, akıl yürütme veya 16K üzerindeki bağlam başarısını ölçmedim. İlk yanıt süresi, istemcinin ilk içerik parçasını aldığı ana kadar geçen süre. Cache sayaçları global olduğundan başka trafik deltalara girebilir; sonuçları bu sınırla yorumluyorum.

Çalışan düzen

13 Ekim 2026 ölçümleri. Qwen3.8-27B NVFP4 iki RTX 5090 üzerinde TP2/MTP3 ile; Qwen2.5-Coder-7B AWQ ve Qwen3-Embedding-0.6B üçüncü RTX 5090 üzerinde birlikte çalışıyordu. Threadripper PRO 5955WX; kart başına 32 GB VRAM. vLLM 0.30.0, PyTorch 2.13.0+cu132, FlashInfer 0.6.18.post1 ve Transformers 5.18.0.

Servisleri veya model yerleşimini değiştirmedim. Doğrudan localhost HTTP üzerinden, tek aktif benchmark isteğiyle ölçtüm; gateway, HTTPS ve internet gecikmesi bu sayılara dahil değil. Her çağrı öncesinde backend kuyruğunu kontrol ettim, fakat sonradan başka trafik gelmesini engellemedim. Bunlar kısa deneyler; çoklu kullanıcı kapasitesi veya kesintisiz çalışma garantisi çıkarmıyorum.

Ayrıntılı sonuç raporu ↗ · Önceden sabitlenen yöntem ↗ · Değerlendirme sınırları ↗. Bu bağlantılar ölçüm raporlarının yayımlanan kopyaları; ham istek ve yanıt arşivi bu sayfada bulunmuyor.

Aynı geceki MTP açık/kapalı testi ↗ · Diğer benchmark yazıları

ölçüm → not → yeniden denemediğer test