10 kullanıcı, üç model, aynı makine
Sohbet, hafif coder ve embedding birlikte çalışırken ne oluyor?
Modeller ve GPU yerleşimi
- Qwen3.8-27B · NVFP4 · GPU0/1 TP2/MTP3
- Qwen2.5-Coder-7B · AWQ · GPU2
- Qwen3-Embedding-0.6B · GPU2
- 3× RTX 5090 · kart başına 32 GB
Servis ortamı
- vLLM · CUDA · FlashInfer
- FastAPI gateway · PostgreSQL
- systemd kullanıcı servisleri
- Şirket ve model bazlı yetki / kuyruk
Tek istekteki hız, aynı anda birkaç kişi kullanırken aynı kalmıyor. Qwen3.8’i iki karta, hafif Qwen2.5-Coder 7B ile Qwen3-Embedding 0.6B’yi üçüncü karta yerleştirip karma yük altında ölçtüm.
15 dakikalık sürekli yük
Beş Qwen ve beş coder isteği aynı anda gönderildi. Arka planda ayrı bir sentetik şirket yaklaşık iki saniyede bir, iki metinlik embedding isteği yaptı. Her şirket için 10 eşzamanlı ve dakikada 60 istek sınırı kullanıldı. Ölçülen süre 900,12 saniyeydi.
| Model | İstek | Yanıt süresi p95 |
|---|---|---|
| Qwen3.8-27B | 300 | 6,72 sn |
| Coder 7B | 300 | 2,18 sn |
| Embedding 0.6B | 442 | 40,4 ms |
Toplam hız ile kişi başına hız
Ayrı sabit 512 tokenlı karma yük testinde kısa girdinin toplam üretim hızı medyanı 778,2 token/sn oldu. Qwen kullanıcılarının decode hızı medyanı 83,1, coder kullanıcılarınınki 257,1 token/sn idi. Bu üç sayı farklı metrikler; toplamı tek kullanıcının hızı gibi yorumlamamak gerekiyor.
Tekrarlanan uzun girdide toplam 804,3 token/sn; benzersiz uzun girdide 510,4 token/sn ölçüldü. Prefix cache’in sıcak olduğu sonucu, tüm müşteri girdileri benzersizmiş gibi genellemek doğru olmaz.
Açık kalanlar
Bu bir sentetik yük testi. Gerçek şirket senaryoları, coding ve retrieval kalitesi, uzun donanım kararlılığı ve yeniden başlatma sonrası doğrulama ayrı işler. 15 dakika sorunsuz çalışma, kesintisiz hizmet garantisi değil.
Embedding 1024 boyutlu vektör döndürüyor. Bu endpoint tek başına RAG indeksi oluşturmuyor. Coder da pilot seçenek; çıktı biçimi ve iş senaryosuna uygunluğu ayrıca doğrulanmalı.
Kaynak: 11 Ekim 2026 çoklu model benchmarkı; nihai FlashInfer karma yük profili ve 900,12 saniyelik soak kaydı. Qwen GPU0/1 TP2/MTP3; coder ve embedding GPU2. Üç RTX 5090 / 32 GB kullanıldı.