Qwen’in yanına coder ve embedding koymak
Tek makinede farklı işleri ayrı modellerle çalıştırma düzenim.
Modeller ve GPU yerleşimi
- Qwen3.8-27B · NVFP4 · GPU0/1 TP2/MTP3
- Qwen2.5-Coder-7B · AWQ · GPU2
- Qwen3-Embedding-0.6B · GPU2
- 3× RTX 5090 · kart başına 32 GB
Servis ortamı
- vLLM · CUDA · FlashInfer
- FastAPI gateway · PostgreSQL
- systemd kullanıcı servisleri
- Şirket ve model bazlı yetki / kuyruk
Qwen’i farklı kart sayılarıyla karşılaştırdıktan sonra aynı makinede birden fazla işi çalıştırmaya baktım. Sohbet, kod ve embedding isteklerini tek bir model üzerinden yürütmek yerine ayrı modellerle denedim.
Kartları nasıl ayırdım?
Qwen3.8-27B NVFP4 iki RTX 5090 üzerinde TP2 ile çalışıyor. Hafif Qwen2.5-Coder 7B AWQ ve Qwen3-Embedding 0.6B üçüncü kartı paylaşıyor. Bir modeli iki karta bölmek ile bir kartta iki ayrı model çalıştırmak farklı düzenler; burada ikisini birlikte kullanıyorum.
Tek isteğin hızı yetmiyor
Bu yerleşimi yalnız tek sohbet hızına bakarak değerlendirmedim. Qwen ve coder isteklerini birlikte gönderip arka planda embedding çalıştırdım. Kuyruk, yanıt süreleri ve kullanıcı başına hız da önemliydi. Ölçümleri çoklu kullanım testinde ayrı ayrı yazdım.
Hız ile işin doğruluğu
Coder’ın hızlı yanıt vermesi, her kod işinde doğru sonuç vereceği anlamına gelmiyor. Üç küçük çıktı biçimi kontrolünde coder birini, Qwen üçünü geçti. Bu kadar küçük bir denemeden genel coding kalitesi sıralaması çıkarmıyorum; coder’ı pilot olarak tutuyorum.
Embedding modeli 1024 boyutlu vektör üretiyor. Bu, tek başına çalışan bir arama sistemi değil. Veriyi hazırlamak, indekslemek, erişim yetkisini uygulamak ve getirilen sonuçları değerlendirmek ayrı bir çalışma. Bu kurulumda RAG indeksi henüz kurulmadı.
Buradan sonra
Yerleşim çalışıyor; sırada gerçek iş senaryolarında kaliteyi değerlendirmek var. Uzun donanım kararlılığı ve yeniden başlatma sonrası kontrolleri de kısa yük testinden ayrı tutuyorum.
Kaynak: 11 Ekim 2026 çoklu model yerleşimi, küçük çıktı biçimi kontrolleri ve sentetik yük kayıtları. Bu yazı mevcut çalışmanın notudur; yeni bir benchmark yapılmadı.