JSON düzgün geldi, peki içindeki bilgi doğru mu?
Qwen ve coder’da yalnız prompt ile JSON şeması kullanımını ayrı değerlendirdim.
Model ve yerleşim
- Qwen3.8-27B · NVFP4
- Qwen2.5-Coder-7B · AWQ
- RTX 5090 · kart başına 32 GB
- Threadripper PRO 5955WX
- Qwen: GPU0/1 · coder: GPU2
Yazılım ortamı
- vLLM 0.30.0
- PyTorch 2.13.0+cu132
- FlashInfer 0.6.18.post1
- Transformers 5.18.0
- Doğrudan localhost HTTP
Bir modelden sipariş numarası, miktar ve hızlı kargo bilgisini JSON olarak çıkarmasını istedim. JSON’un açılabilmesini, şemaya uymasını ve içindeki alanların doğru olmasını ayrı ayrı kontrol ettim.

| Model / yöntem | Geçerli JSON | Şemaya uygun | Tüm alanlar doğru | Medyan HTTP |
|---|---|---|---|---|
| Qwen / prompt | 60/60 | 60/60 | 60/60 | 0,247 sn |
| Qwen / şema | 60/60 | 60/60 | 60/60 | 0,252 sn |
| Coder / prompt | 55/60 | 55/60 | 50/60 | 0,137 sn |
| Coder / şema | 60/60 | 60/60 | 53/60 | 0,146 sn |
Şema neyi düzeltti?
İki yöntemde de aynı açık şema promptta bulunuyordu. İkinci yöntemde ayrıca response_format ile JSON şeması verdim. Coder’ın geçerli çıktı sayısı 55’ten 60’a yükseldi; bütün alanların doğruluğu ise 50’den 53’e çıktı.
Örneğin miktarı 12 olması gereken bir siparişte model 2 döndürdü. Nesne geçerliydi ve şemaya uyuyordu; içindeki bilgi yanlıştı. Bir başka örnekte 6 yerine 46 verdi. Çıktı biçimini sınırlamak, metnin doğru anlaşılmasını tek başına garantilemiyor.
Nasıl kontrol ettim?
20 farklı sentetik siparişi üç seed ile, iki model ve iki yöntem üzerinden çalıştırdım: toplam 240 yanıt. Her satırdaki 60 sonuç, 60 bağımsız sipariş değil; 20 örneğin tekrarı. Türkçe sayılar, sonradan düzeltilen bilgiler, olumsuz kargo ifadeleri, alıntılar ve bilinmeyen alanlar vardı.
Markdown temizlemeden JSON parse ettim. Eksik anahtarı null ile doğru saymadım; bool ve integer tiplerini ayrı tuttum. Çıktı bütçesi 256 token, doğal bitiş kullanıldı. Şema için ayrı ısınma yapılmadığından ilk grammar derlemesi süreye girmiş olabilir.
Qwen bu küçük veri kümesinde bütün alanları doğru çıkardı. Bunu her belge türü veya her sipariş için garanti olarak almıyorum. Coder daha kısa HTTP süreleri verdi; uygulamada biçim ve içerik doğruluğunu birlikte kontrol etmek gerekiyor.
Çalışan düzen
13 Ekim 2026 ölçümleri. Qwen3.8-27B NVFP4 iki RTX 5090 üzerinde TP2/MTP3 ile; Qwen2.5-Coder-7B AWQ ve Qwen3-Embedding-0.6B üçüncü RTX 5090 üzerinde birlikte çalışıyordu. Threadripper PRO 5955WX; kart başına 32 GB VRAM. vLLM 0.30.0, PyTorch 2.13.0+cu132, FlashInfer 0.6.18.post1 ve Transformers 5.18.0.
Servisleri veya model yerleşimini değiştirmedim. Doğrudan localhost HTTP üzerinden, tek aktif benchmark isteğiyle ölçtüm; gateway, HTTPS ve internet gecikmesi bu sayılara dahil değil. Her çağrı öncesinde backend kuyruğunu kontrol ettim, fakat sonradan başka trafik gelmesini engellemedim. Bunlar kısa deneyler; çoklu kullanıcı kapasitesi veya kesintisiz çalışma garantisi çıkarmıyorum.
Ayrıntılı sonuç raporu ↗ · Önceden sabitlenen yöntem ↗ · Değerlendirme sınırları ↗. Bu bağlantılar ölçüm raporlarının yayımlanan kopyaları; ham istek ve yanıt arşivi bu sayfada bulunmuyor.
Aynı geceki MTP açık/kapalı testi ↗ · Diğer benchmark yazıları