# Gece benchmark paketi — önceden belirlenen protokol

13 Ekim 2026; ZAI-13. Site ve sosyal yayın yapılmayacak. Mevcut model servisleri, müşteriler, izinler, domain, sürücü ve Python değişmez.

## Deneyler

1. Qwen3.8-27B NVFP4 TP2/MTP3 ve Qwen2.5-Coder7B-AWQ TP1: üç JavaScript saf fonksiyon görevi, her biri 12 önceden sabit test. Üç seed (42/43/44), temperature0.2, top_p1, presence_penalty0, doğal EOS, çıktı bütçesi2048. İlk geçiş ve bir kez hata geri bildirimiyle düzeltme ayrı. En fazla36 model çağrısı. Ham kayıtlardan süre, TTFT, token; ilk ve son tam görev başarısı. Üç görev genel coding sıralaması değildir. Test sandbox bwrap ağsız/root salt okunur, NodeVM timeout; hiçbir model kodu gerçek projeye uygulanmaz.
2. Embedding0.6B: elle hazırlanan50sentetik Türkçe doküman,20önceden gold soru (10konu, konu başına2ilgili kayıt). Raw/instruction query kosinüs; lexical kelime kesişimi baseline (BM25 değil). Top1,hit@5,MRR. Konu içi iki belge benzer; kolay/küçük sentetik koleksiyon, genelretrieval/RAG kalitesi değildir. Batch1/8/32 her biri aynı50doküman üstünde5tekrar, rastgele sıra; HTTPsum ve metin/sn. 8/32 gruplarında sonbatchkısmi. Bu backend gecikmesi, gateway/HTTPS değil.
3. İki chat modelinde prompt-only vs response_format.json_schema: aynı20sentetik sipariş×3seed×2mod×2model=240çağrı. Parse, tamşema, alan doğruluğu, tümalan exact ayrı. NoMarkdownparsecleanup. Türkçe sayı, son düzeltme, eksik/null, olumsuz teslimat ve alıntı içerir. Schemaşekli doğrular, doğrualan garantisi değildir. Çıktı256, diğer ayarlar coding ile aynı. Koşullar seedli shuffle; sonuç görülmeden dataset/testler sha256 ile sabitlendi. Schema warmup yapılmadı; ilk schema derleme gecikmesi ölçümlerde olabilir.

## Ortak koşullar

Tek benchmark isteği; her çağrı öncesi üç backend running/waiting kontrolü. Başka trafik görüldüğünde3sn arayla bekle,15dk yük sürerse dur. Bu anlık kontrol sonraki müşteri gelişini engellemez ve sıfır etki garantisi değildir. GPU80C guard. Cache reset yok; chat request başına ayrı benchmark cache_salt (üretim tenant saltı değil) cross-request prefix reuse azaltılır. Model gerçek generation defaults yerine açık deney ayarlarıyla çağrılır. Tüm çağrılar localhost; müşteri API katmanı ölçülmez. Kullanım kayıtsız hatalara sıfır token yazılmaz. İlk hata STOPPED ile durdurulur, çözülmeden sonraki deney ilerlemez. Tamamlandı ancak DONE ve servis son kontrolüyle.

Üç küçük warmup ayrı kayıtlı ve sonuç toplamları dışında. Kalite deneyi inference süreleri tüm geliştirme/inceleme zamanını içermez. Chat MTP parçaları nedeniyle approx decode token başına gecikme değildir. Embeddingperformans HTTPsum, istemci/idle kontrol overheadini dışarıda bırakır; user-perceived throughput değildir. Isı/diğer trafik farklılıkları kaydedilir. Sonuçları görüp prompt/test eşikleri değiştirilmez.

## Kaynaklar

- https://docs.vllm.ai/en/latest/features/structured_outputs/ — response_format JSONschema.
- https://huggingface.co/Qwen/Qwen3-Embedding-0.6B — instruction query biçimi.

Tekrar: `/home/zeka/ai/benchmarks/.venv/bin/python run.py`. Başarılı kayıtlar yeniden kullanılabilir; tamamlanmamış çağrı kaydı otomatik üzerine yazılmaz. Runner deploy/site/sosyal/Proyz'ye kendiliğinden yazmaz; sonuçlar bu oturumda incelenip MCP ile ayrıca aktarılır.
