tüm testler
Benchmark · · 4 dk okuma ·

Qwen’de MTP’yi kapatınca hız ne oldu?

İki RTX 5090 üzerinde aynı modeli, yalnız MTP ayarını değiştirerek test ettim.

Kullanılan teknolojiler ve ortam

Model ve donanım

  • Qwen3.8-27B · NVFP4
  • 2× RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX

Çalıştırma ortamı

  • vLLM 0.30.0 · PyTorch 2.13.0+cu132
  • FlashInfer 0.6.18.post1
  • TP2 · BF16 KV · 16K bağlam
  • MTP kapalı / MTP3
  • 10 sequence · batch 2.048

Devam testi: cevap doğruluğu ve 1, 5, 10 eşzamanlı istek ↗

Önceki kart karşılaştırmasında MTP açık kalmıştı. Bu kez Qwen3.8-27B NVFP4 modelini iki RTX 5090 üzerinde TP2 ile çalıştırıp yalnız MTP’yi değiştirdim. Açıklama, kod ve hikâye istemlerinin her birini iki profilde de üç kez ölçtüm. Her yanıtta 512 token ürettirdim; toplam 18 ölçüm var.

MTP ne yapıyor?

MTP, Multi-Token Prediction’ın kısaltması. Modelin kendi tahmin yapısıyla ilerideki birkaç token için adaylar üretmesini sağlayan bir speculative decoding yöntemi. Burada MTP3, üç aday token ayarı; her adımda üç tokenın mutlaka kabul edildiği anlamına gelmiyor. Bu karşılaştırmada başka bir taslak model yüklemedim.

MTP kapalı / MTP3 açık token/sn
Açıklama · kapalı
65,00
Açıklama · açık
115,86
Kod · kapalı
64,94
Kod · açık
147,29
Hikâye · kapalı
65,07
Hikâye · açık
93,97

2 × RTX 5090 / 32 GB · TP2 · 3 tekrar medyanı · 512 çıktı tokenı

İstemMTP kapalıMTP3 açıkHız artışı
Açıklama65,00115,86%78,2
Kod64,94147,29%126,8
Hikâye65,0793,97%44,4

Üretim token/sn; üç tekrarın medyanı. Artış, MTP kapalı profile göre hesaplandı.

Neyi aynı tuttum?

İki kart, TP2, aynı model ağırlıkları ve aynı vLLM profili. Bağlam 16.384, sequence sınırı 10, batch 2048, graph sınırı 128; FlashInfer attention ve BF16 KV kullandım. Test sırasında aynı anda yalnız bir istek vardı. Üçüncü RTX 5090 üzerindeki coder ve embedding servisleri açık kaldı.

Her profili önce üç istemle ısıttım. Prefix cache açıktı ve aynı sentetik cache alanı kullanıldı. Temperature ve presence penalty 0, seed 42; düşünme kapalı. Tam 512 token için EOS yok sayıldı. Önce MTP3 açık, sonra kapalı ölçüldü; profil sırasını rastgele değiştirmedim. Yükleme ve derleme süresi hız hesabına dahil değil.

Sonuç

MTP3 bu üç istemde de daha hızlıydı. Kapalıyken hızlar yaklaşık 65 token/sn’de kaldı; açıkken isteme göre 94–147 token/sn gördüm. En büyük fark kod istemindeydi. Test bitince mevcut MTP3 profilini geri açtım ve gerçek API isteğiyle çalıştığını kontrol ettim.

Bu sonuç tekrar edilen kısa istem, aynı cache kimliği ve tek istek için. İlk kayıtta buna “sıcak cache” demiştim; gerçek prefix isabetini doğrulamamıştım. Aynı istek koşullarını yeniden ölçtüğüm devam testinde prefix isabeti sıfır gözlendi. Cache kazancı iddiası olarak okunmamalı. Çoklu kullanıcı kapasitesini veya yanıt kalitesini bu testte ölçmedim. Token/sn, localhost akışında ilk ve son içerik parçası arasındaki süreden hesaplandı; MTP bir parçada birden fazla token gönderebilir. Doğal sohbetlerdeki toplam bekleme süresinin tamamını temsil etmiyor.

Sürümler ve kaynak

Threadripper PRO 5955WX; iki RTX 5090 / 32 GB. vLLM 0.30.0, PyTorch 2.13.0+cu132, CUDA 13.2, FlashInfer 0.6.18.post1, Transformers 5.18.0, NVIDIA 595.99.02. Qwen ağırlıkları: NVIDIA Qwen3.8-27B-NVFP4, revision 482ca0f3832238542f8f5295dde86b5f22711d80.

Kaynak: 13 Ekim 2026 MTP açık/kapalı ölçümü, 18/18 tamamlanmış istek. MTP tanımı: vLLM MTP belgesi ↗. Önceki çalışma: 1, 2 ve 3 kart karşılaştırması. Hazırlık sırasında karşılaştığım sorunları ayrı notta yazdım.

ölçüm → not → yeniden denemediğer test