tüm testler
Benchmark · · 5 dk okuma ·

Qwen ve küçük coder’a aynı üç kod işini verdim

CSV, aralık birleştirme ve topolojik sıralama: hız ile testten geçme oranını birlikte ölçtüm.

Kullanılan teknolojiler ve ortam

Model ve yerleşim

  • Qwen3.8-27B · NVFP4
  • Qwen2.5-Coder-7B · AWQ
  • RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • Qwen: GPU0/1 · coder: GPU2

Yazılım ortamı

  • vLLM 0.30.0
  • PyTorch 2.13.0+cu132
  • FlashInfer 0.6.18.post1
  • Transformers 5.18.0
  • Doğrudan localhost HTTP

Aynı makinede hem büyük Qwen hem de küçük coder çalışıyor. Bu kez ikisine aynı üç JavaScript işini verdim: CSV satırlarını ayrıştırma, kapalı aralıkları birleştirme ve deterministik topolojik sıralama. Üretilen fonksiyonları önceden yazılmış testlerle çalıştırdım.

Üç JavaScript görevi: ilk deneme ve bir onarım sonrası tam geçiş sayıları
Üç JavaScript görevi: ilk deneme ve bir onarım sonrası tam geçiş sayıları · grafiği büyütmek için dokun.
Modelİlk tam geçişBir onarım sonrasıİlk testlerSon testler
Qwen5/97/9100/108104/108
Coder 7B0/90/972/10872/108

Dokuz deneme, üç farklı iş

Her görev için üç seed kullandım: 42, 43 ve 44. Her çalıştırmada 12 sabit kontrol vardı. Çıktı bütçesi 2048 token, temperature 0,2. Başarısız ilk denemeye bir kez onarım hakkı verdim; başarısız test girdilerini ve beklenen sonuçları modele gösterdim.

Qwen ilk denemede beş çalıştırmanın bütün testlerini geçti; onarım sonrası bu sayı yediye çıktı. Coder hiçbir çalıştırmada bütün testleri geçemedi, ama bu bütün çıktılarının yanlış olduğu anlamına gelmiyor: 108 kontrolün 72’sini geçti.

Hız ve doğruluk ayrı

İlk denemeler ve onarımlar birlikte Qwen’de 49,617 saniye, coder’da 26,915 saniye model HTTP süresi tuttu. Onarım sayıları ve üretilen kodlar farklı olduğu için bu toplamları eşit iş başına hız gibi okumuyorum. Qwen dört, coder dokuz onarım aldı.

Girdi verisini değiştirmeme kontrolü promptta vardı; onarım geri bildiriminde ise bu hatanın nedeni açıkça gösterilmedi. Bu eksiklik onarım sonuçlarının yorumunu sınırlar. İlk deneme sonuçları bundan etkilenmiyor.

Bu sonuçla ne söylüyorum?

Bu üç işte Qwen daha fazla tam geçiş verdi. Dokuz tekrar, dokuz farklı problem değil. Model boyutu, quantization ve GPU paylaşımı da farklı; eşit donanımla genel coding sıralaması yapmadım. Testler fonksiyonların seçilmiş durumlarını kapsıyor.

Çalışan düzen

13 Ekim 2026 ölçümleri. Qwen3.8-27B NVFP4 iki RTX 5090 üzerinde TP2/MTP3 ile; Qwen2.5-Coder-7B AWQ ve Qwen3-Embedding-0.6B üçüncü RTX 5090 üzerinde birlikte çalışıyordu. Threadripper PRO 5955WX; kart başına 32 GB VRAM. vLLM 0.30.0, PyTorch 2.13.0+cu132, FlashInfer 0.6.18.post1 ve Transformers 5.18.0.

Servisleri veya model yerleşimini değiştirmedim. Doğrudan localhost HTTP üzerinden, tek aktif benchmark isteğiyle ölçtüm; gateway, HTTPS ve internet gecikmesi bu sayılara dahil değil. Her çağrı öncesinde backend kuyruğunu kontrol ettim, fakat sonradan başka trafik gelmesini engellemedim. Bunlar kısa deneyler; çoklu kullanıcı kapasitesi veya kesintisiz çalışma garantisi çıkarmıyorum.

Ayrıntılı sonuç raporu ↗ · Önceden sabitlenen yöntem ↗ · Değerlendirme sınırları ↗. Bu bağlantılar ölçüm raporlarının yayımlanan kopyaları; ham istek ve yanıt arşivi bu sayfada bulunmuyor.

Aynı geceki MTP açık/kapalı testi ↗ · Diğer benchmark yazıları

ölçüm → not → yeniden denemediğer test