# 13 Ekim gece benchmark sonuçları

ZAI-13. Site ve sosyal medyada yayımlanmadı. Bu çalışma tek aktif yerel benchmark isteğiyle, mevcut üretim yerleşimi değiştirilmeden yapıldı. Kaynak/testler önceden sabitlendi; sonuçlar görüldükten sonra değişmedi.

## 1 — üç küçük JavaScript görevinde coding

| Model | İlk tam geçiş | Bir onarım sonrası | İlk testler | Son testler | Onarım | Token | Model HTTP toplam sn |
|---|---|---|---|---|---|---|---|
| qwen | 5/9 | 7/9 | 100/108 | 104/108 | 4 | 13313 | 49.617 |
| coder | 0/9 | 0/9 | 72/108 | 72/108 | 9 | 13765 | 26.915 |

Üç görev: CSV parser, kapalı aralık birleştirme ve deterministik topolojik sıralama. Her model/görev üç seed; görev başına12sabittest. Onarım başarısı ilk deneme başarısından ayrıdır; onarımda başarısız test girdileri ve beklenenleri modele gösterildi. Immutability kontrolündeki başarısızlık feedback JSONunda açık neden olarak yer almadı: beklenen ve actual değer eşit olabilirken girdi değişmiş olabilir. Başlangıç ve onarım promptunda do not mutate şartı vardı, ancak bu eksik feedback onarım başarısını sınırlar; genel düzeltme kabiliyeti diye yorumlanmaz. İlk geçiş kontrolü bundan etkilenmez. 9 çalıştırma yalnız3benzersiz görevdir; genel coding sıralaması değildir. Bütçe2048, temperature0.2, seed42/43/44. Modellerin boyutu, quantization ve GPU paylaşımı farklı: üretimdeki iki hizmeti karşılaştırır, eşit kaynaklı mimari deneyi değildir.

| Model | Görev | Seed | İlk | Son | İlk HTTP sn | Onarım HTTP sn |
|---|---|---|---|---|---|---|
| coder | interval | 43 | 10/12 | 10/12 | 1.436 | 1.468 |
| qwen | csv | 44 | 9/12 | 11/12 | 2.588 | 3.035 |
| coder | toposort | 44 | 10/12 | 10/12 | 1.368 | 1.407 |
| qwen | interval | 44 | 12/12 | 12/12 | 2.329 | 0.000 |
| qwen | toposort | 44 | 12/12 | 12/12 | 5.026 | 0.000 |
| qwen | interval | 43 | 12/12 | 12/12 | 2.456 | 0.000 |
| coder | interval | 42 | 10/12 | 10/12 | 1.662 | 1.688 |
| qwen | interval | 42 | 12/12 | 12/12 | 2.219 | 0.000 |
| qwen | csv | 42 | 11/12 | 12/12 | 3.298 | 3.710 |
| coder | toposort | 42 | 5/12 | 5/12 | 1.352 | 1.397 |
| coder | csv | 44 | 6/12 | 6/12 | 1.557 | 1.681 |
| coder | csv | 42 | 6/12 | 6/12 | 1.385 | 1.424 |
| coder | toposort | 43 | 10/12 | 10/12 | 1.384 | 1.420 |
| qwen | csv | 43 | 11/12 | 12/12 | 2.719 | 3.171 |
| qwen | toposort | 43 | 12/12 | 12/12 | 6.005 | 0.000 |
| coder | csv | 43 | 5/12 | 5/12 | 1.506 | 1.542 |
| qwen | toposort | 42 | 9/12 | 9/12 | 6.553 | 6.508 |
| coder | interval | 44 | 10/12 | 10/12 | 1.597 | 1.641 |

## 2 — sentetik Türkçe belge arama

| Yöntem | Top1 | Hit@5 | MRR |
|---|---|---|---|
| raw | 17/20 | 19/20 | 0.8863 |
| instruct | 19/20 | 20/20 | 0.9600 |
| lexical-overlap | 8/20 | 14/20 | 0.5057 |

50doküman/20soru,10konu ve konu başına2ilgilibelge. Gold liste önceden belirlenmiş; doğru cevap üretimi veya gerçek RAG pipeline ölçülmedi. Aynı konudaki iki metin benzer; küçük ve kolay sentetik küme. Raw/instruction query vektörleri1024boyut ve L2normalizasyon ile kosinüs; instruction İngilizce görev tanımı+Türkçe soru. Baseline yalnız kelime kümesi kesişimi, BM25 değildir. Eşit skorlar korpus sırasıyla çözülür. Model koşullarına müdahale edilmeden sonuç raporlandı.

| Batch | 50metinlik tekrar | Medyan metin/sn | Min–max | HTTP istek p50/p95 ms | Gerçek batch boyutları |
|---|---|---|---|---|---|
| 1 | 5 | 63.45 | 61.30–64.23 | 16.33/17.44 | [1] |
| 8 | 5 | 227.30 | 219.58–244.14 | 31.11/37.99 | [2, 8] |
| 32 | 5 | 390.86 | 370.06–412.06 | 63.57/79.70 | [18, 32] |

Her koşul aynı50metni5kez işler; 8/32koşulunda sonbatchkısmidir. Metin/sn,50/(HTTPsüreleritoplamı); istemci metrik kontrolü ve çağrılar arasındaki idlewait dışarıda, kişi başına hız veya gateway/HTTPS throughput değil. P95 farklı sayıda küçük istek örneklerinden hesaplanır; 5 tekrar ile uzun SLA çıkarılmaz. Korpus indeksleme ve query üretimi batchperformans sayılarına dahil değil, ayrı kayıtlarda.

## 3 — JSON biçimi ile alan doğruluğu

| Model/yöntem | Parse | Şema | Tüm alan exact | Doğru alan | Medyan HTTP sn | P95 HTTP sn | P50/P95 TTFT ms | Token |
|---|---|---|---|---|---|---|---|---|
| qwen-prompt | 60/60 | 60/60 | 60/60 | 180/180 | 0.247 | 0.306 | 133.3/139.0 | 14842 |
| qwen-schema | 60/60 | 60/60 | 60/60 | 180/180 | 0.252 | 0.314 | 136.8/142.1 | 14842 |
| coder-prompt | 55/60 | 55/60 | 50/60 | 160/180 | 0.137 | 0.148 | 24.2/25.5 | 14958 |
| coder-schema | 60/60 | 60/60 | 53/60 | 173/180 | 0.146 | 0.153 | 26.3/27.8 | 14928 |

20benzersiz sipariş×3seed×2mod×2model=240yanıt. Tekrarlanan aynı örnekler bağımsız60farklı örnek değildir. Aynı açık şema promptta iki modda da vardı; schema moduna ayrıca response_format eklendi. JSONparse hiçbir Markdowntemizleme olmadan; fieldtype bool/int karışmaz, eksik anahtar null doğruluğu sayılmaz. Unknownnull, Türkçe sayılar, son düzeltme, olumsuz kargo ve alıntı girdiler dahil. Geçerli nesne doğru miktarı garantilemez. İlk schema grammarcompile sıcaklığı ölçümde olabilir; schema özelwarmup yapılmadı. Doğal EOS, çıktı256.

### Yanlış veya geçersiz sonuçlar

- coder/prompt, örnek8, seed42: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/schema, örnek8, seed42: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/schema, örnek5, seed44: actual `{"order_id": null, "quantity": null, "expedited": false}`; gold `{"order_id": "Z-105", "quantity": null, "expedited": false}`.
- coder/schema, örnek13, seed43: actual `{"order_id": "Z-113", "quantity": 46, "expedited": false}`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.
- coder/prompt, örnek5, seed42: actual `null`; gold `{"order_id": "Z-105", "quantity": null, "expedited": false}`.
- coder/prompt, örnek13, seed43: actual `{"order_id": "Z-113", "quantity": 46, "expedited": false}`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.
- coder/schema, örnek8, seed44: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/prompt, örnek5, seed43: actual `null`; gold `{"order_id": "Z-105", "quantity": null, "expedited": false}`.
- coder/prompt, örnek8, seed43: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/prompt, örnek11, seed43: actual `null`; gold `{"order_id": null, "quantity": null, "expedited": null}`.
- coder/prompt, örnek5, seed44: actual `null`; gold `{"order_id": "Z-105", "quantity": null, "expedited": false}`.
- coder/prompt, örnek13, seed42: actual `{"order_id": "Z-113", "quantity": 46, "expedited": false}`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.
- coder/schema, örnek8, seed43: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/prompt, örnek13, seed44: actual `null`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.
- coder/schema, örnek13, seed42: actual `{"order_id": "Z-113", "quantity": 46, "expedited": false}`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.
- coder/prompt, örnek8, seed44: actual `{"order_id": "Z-108", "quantity": 2, "expedited": false}`; gold `{"order_id": "Z-108", "quantity": 12, "expedited": false}`.
- coder/schema, örnek13, seed44: actual `{"order_id": "Z-113", "quantity": 46, "expedited": false}`; gold `{"order_id": "Z-113", "quantity": 6, "expedited": false}`.

## Ortak koşullar, kayıt ve sınırlar

Successful kayıt 573, bunun3warmup ayrı; chat ana ölçüm 271çağrı/86648token/124.806sn; embedding 299çağrı/45735girdi tokenı/5.987sn. Embedding için çıktı tokenı yok. Bu toplamlar tüm gece ajan/geliştirme duvarsaat süresi veya enerji/parasal maliyet değildir.

Ölçüm öncesi alınan sıcaklıklar 38–55C; sürekli GPU telemetry/peak veya uzun riser stres testi değil. ModelPID önce/son: `ActiveState=active
MainPID=17627

ActiveState=active
MainPID=2391

ActiveState=active
MainPID=14557` → `ActiveState=active
MainPID=17627

ActiveState=active
MainPID=2391

ActiveState=active
MainPID=14557`.

Qwen2RTX5090/TP2/MTP3; coder7B-AWQ ve embedding0.6B üçüncüRTX5090üzerinde. Revision ve /v1/models before/afterdosyalarında. Chat bağlamQwen16k/coder8k. Herrequestayarı ve üretimmanifesti kayıtlı. Farklı quantization/VRAM/GPUve diğer trafik kontrollü eşit donanım deneyi değildir. Her çağrı öncesi num_requests running/waiting kontrol edildi; müşteri hemen sonra gelebilir, sıfıretki garantisi yok. Prefixcacheflush/deploy/modelrestart/kimlikmutasyonu yapılmadı. Chatrequestnamespace SHA256tag ile ayrı; warm cachecrossrequestazaltıldı, diğer optimizasyonlar aktif.

İlk warmup HTTP400: cache_salt adında / kullanılması runnerhatasıydı. Bu çağrı usage bildirmedi; token0uydurulmadı, hata gövdesi/süresi preflight-rejected-cache-salt içinde. SHA256ad düzeltildi; dataset/testler sabit kaldı. Protokol ve code checker öncedencommitli. Generatedcode bwrapunshare-all/rootreadonly/ağsız +NodeVM500mstimeout; normal makine/projeye uygulanmadı. Harnesssanity kaydı ayrıca.

SSE TTFTilkcontentalınması; HTTPsonakışbitimine. Approxdecode MTPmulti-tokenchunk nedeniyle tek-tokenlatency değildir. Her başlık altında request.json, response.txt, events.json, metrics.json/evaluation.json. Embeddingvectors.npy tekrarhesap için saklandı. Chatprompttokenlarınaonarımdaki önceki kod dahildir.

## Tekrar ve teslim

`/home/zeka/ai/benchmarks/.venv/bin/python run.py` başarılı kayıtları tekrar kullanır; tamamlanmamış çağrıları üzerine yazmaz. Yeni bağımsız ölçüm için yeni tarih/kopya ve namespace gerekir. `report.py` inference göndermez. `DATASET.sha256` test/altın kayıt bütünlüğü. Publicsite/sosyal yayını yapılmadı; Proyz kayıtları kişisel taslaktır.

Kaynaklar: [vLLM structured outputs](https://docs.vllm.ai/en/latest/features/structured_outputs/), [resmî Qwen embedding model kartı](https://huggingface.co/Qwen/Qwen3-Embedding-0.6B).


## Değerlendirme betiği ve örnekleme sınırları

Embedding skor hesaplamasında başlangıçta matris transpozu eksikti; süreç durdu, Q @ V.T olarak düzeltildi. Daha önce alınan vektörler yeniden değerlendirildi; sonuç seçmek için yeni model çağrısı veya veri değişimi yapılmadı. Stop kaydı korunur. JSON değerlendirmesinde eksik anahtarın null ile doğru sayılmaması, JSON çağrıları başlamadan önce düzeltildi. Dördüncü context deneyi bu rapor toplamlarından ayrı tutulur.

İsteklerde top_k belirtilmedi: hizmetlerin model/generation_config varsayılanları devrededir; served-qwen/coder.sh ve generation-config-*.json kaynakları paket içinde. Aynı temperature/top_p kullanımı bütün sampling koşullarının eşit olduğu anlamına gelmez. Aktif vLLM0.30.0, PyTorch2.13.0+cu132, FlashInfer0.6.18.post1, Transformers5.18.0; versions.json. Kod testleri fonksiyon sözleşmesinin yalnız seçilmiş durumlarını kapsar, tüm girdileri veya güvenlik özelliklerini kanıtlamaz.


## Site yayını — 13 Ekim 2026
Bu raporun ölçüm zamanı yayın durumunu anlatan eski notları tarihsel kayıttır. Sonuçlar zekayapar.com’da dört ayrı benchmark yazısı olarak yayımlandı. Sosyal medya yayını yapılmadı.
