tüm testler
Benchmark · · 5 dk okuma ·

10 kullanıcı, üç model, aynı makine

Sohbet, hafif coder ve embedding birlikte çalışırken ne oluyor?

Kullanılan teknolojiler ve ortam

Modeller ve GPU yerleşimi

  • Qwen3.8-27B · NVFP4 · GPU0/1 TP2/MTP3
  • Qwen2.5-Coder-7B · AWQ · GPU2
  • Qwen3-Embedding-0.6B · GPU2
  • 3× RTX 5090 · kart başına 32 GB

Servis ortamı

  • vLLM · CUDA · FlashInfer
  • FastAPI gateway · PostgreSQL
  • systemd kullanıcı servisleri
  • Şirket ve model bazlı yetki / kuyruk

Tek istekteki hız, aynı anda birkaç kişi kullanırken aynı kalmıyor. Qwen3.8’i iki karta, hafif Qwen2.5-Coder 7B ile Qwen3-Embedding 0.6B’yi üçüncü karta yerleştirip karma yük altında ölçtüm.

eşzamanlı sohbet10
chat / başarılı600 / 600
embedding / başarılı442 / 442

15 dakikalık sürekli yük

Beş Qwen ve beş coder isteği aynı anda gönderildi. Arka planda ayrı bir sentetik şirket yaklaşık iki saniyede bir, iki metinlik embedding isteği yaptı. Her şirket için 10 eşzamanlı ve dakikada 60 istek sınırı kullanıldı. Ölçülen süre 900,12 saniyeydi.

ModelİstekYanıt süresi p95
Qwen3.8-27B3006,72 sn
Coder 7B3002,18 sn
Embedding 0.6B44240,4 ms

Toplam hız ile kişi başına hız

Ayrı sabit 512 tokenlı karma yük testinde kısa girdinin toplam üretim hızı medyanı 778,2 token/sn oldu. Qwen kullanıcılarının decode hızı medyanı 83,1, coder kullanıcılarınınki 257,1 token/sn idi. Bu üç sayı farklı metrikler; toplamı tek kullanıcının hızı gibi yorumlamamak gerekiyor.

Tekrarlanan uzun girdide toplam 804,3 token/sn; benzersiz uzun girdide 510,4 token/sn ölçüldü. Prefix cache’in sıcak olduğu sonucu, tüm müşteri girdileri benzersizmiş gibi genellemek doğru olmaz.

Açık kalanlar

Bu bir sentetik yük testi. Gerçek şirket senaryoları, coding ve retrieval kalitesi, uzun donanım kararlılığı ve yeniden başlatma sonrası doğrulama ayrı işler. 15 dakika sorunsuz çalışma, kesintisiz hizmet garantisi değil.

Embedding 1024 boyutlu vektör döndürüyor. Bu endpoint tek başına RAG indeksi oluşturmuyor. Coder da pilot seçenek; çıktı biçimi ve iş senaryosuna uygunluğu ayrıca doğrulanmalı.

Kaynak: 11 Ekim 2026 çoklu model benchmarkı; nihai FlashInfer karma yük profili ve 900,12 saniyelik soak kaydı. Qwen GPU0/1 TP2/MTP3; coder ve embedding GPU2. Üç RTX 5090 / 32 GB kullanıldı.

ölçüm → not → yeniden denemediğer test