# Uzun girdi, prefix cache ve ilk yanıt süresi

13 Ekim2026, ZAI-14. Mevcut Qwen3.8-27B NVFP4 TP2/MTP3 ikiRTX5090üzerinde. Site/sosyal yayın yapılmadı; cacheflush/modelrestart yok.

## Protokol

Önceden sabit9sentetikkayıt listesi, hedef girdi1024/4096/8192token; kanıt satırı %10/%50/%90konumda. Backendtokenizer chattemplate dahil gerçek1004/4107–4108/8211–8213token saydı. Herkoşul1fill+4warm+4cold=81istek. Fill ve warm aynı özelbenchmarkcache_salt, cold heristektebenzersiz salt. Üretimtenantcacheleriyle paylaşım yok. Aynı istem/altınkod; temperature0.2,seed42,çıktı64,doğalEOS. Koşulseed5678shuffled; warm/cold sırası dönüşümlü. Tekistek; diğerbackendyüküve80Cguard. İlkfill ana karşılaştırmadan ayrı.

Warm yalnız aynı namespace ile daha önce gönderilmiş istem demektir; cachehit gerçekten oluştuğu ayrıca global counters ile kontrol edildi. Coldprefixsaltı benzersizdir; model kernel/autotune/CUDAgraph cachelerinin soğuk olduğu iddiası değil. Token sayısı farklı konumların satırtokenizasyonunda1–2değişebilir.

## Sonuçlar

| Hedef girdi | Gerçek girdi | Durum | N | TTFT medyan ms | TTFT p95 ms | HTTP medyan sn | Doğru kod | Prefixhit delta medyan |
|---|---|---|---|---|---|---|---|---|
| 1024 | [1004] | fill | 3 | 354.74 | 370.36 | 0.427 | 3/3 | 0 |
| 1024 | [1004] | cold | 12 | 353.08 | 357.23 | 0.426 | 12/12 | 0 |
| 1024 | [1004] | warm | 12 | 353.52 | 357.07 | 0.427 | 12/12 | 0 |
| 4096 | [4107, 4108] | fill | 3 | 1364.03 | 1457.57 | 1.436 | 3/3 | 0 |
| 4096 | [4107, 4108] | cold | 12 | 1364.81 | 1469.28 | 1.437 | 12/12 | 0 |
| 4096 | [4107, 4108] | warm | 12 | 318.01 | 336.64 | 0.390 | 12/12 | 3200 |
| 8192 | [8211, 8213] | fill | 3 | 2915.65 | 2916.35 | 2.988 | 3/3 | 0 |
| 8192 | [8211, 8213] | cold | 12 | 2842.14 | 2928.49 | 2.915 | 12/12 | 0 |
| 8192 | [8211, 8213] | warm | 12 | 353.98 | 380.90 | 0.427 | 12/12 | 7200 |

Toplam doğruJSONkod 81/81;360621Qwentoken ve87.149snmodelHTTPtoplamı. Fill dahil; ajan/inceleme/tokenizehazırlık/maliyet/enerji ve tüm gece duvarsaat değil.

Herwarm/coldgrubunda12ölçüm var fakat yalnız3benzersiz istem (üçkanıtkonumu). Bu, kontrollü tekrar mikrobenchmarkı; uzun bağlamda akıl yürütme, üretimçoklukullanıcı veya SLA ölçümü değil. Kolayneedle görevinde doğru kod bulmak kapsamlıdocumentQAkalitesi anlamına gelmez. DoğrudanlocalhostHTTP; gateway/HTTPS ve ağ gecikmesi hariç.

Prefixquery/hit counters backendglobalolduğundan başka istek gelirse deltaya girebilir. Heristeköncesinde running/waiting0guard vardı; sonraki başka trafiği engellemez. Deltaların kaydı herrequestsonuçta, kayıp/negatif veya şaşırtıcısayım gizlenmez. Aynınamespace kullanılmasına rağmen bazı uzunluklarda hit oluşmaması mümkündür; bunu varsayımsal bir hız kazancı gibi sunmuyoruz. Granülerlik/modelmimarisinin neden olduğunu profilerkanıtı olmadan iddia etmiyoruz.

ÜretimGPUharnessyerleşimi değiştirilmedi. Before/afterMainPID ve /v1/models kayıtları context-services-before/after.json içinde. Veri/test promptlarıilkcallöncesiSHA256veGitcommitile sabit. Heristek request/response/SSE/usage/TTFT/HTTPve cachebefore/after runsklasöründe.

## Tekrar

Başarılı istekler üzerineyazılmaz. Yeniölçüm için yeni namespace/tarih ve temiz kopya gerekir; aynı koşullarda tekrarın prefixstateini yanlışlıkla yenidenkullanmayın. CONTEXT-PLAN.md ve CONTEXT-DATASET.json/SHA256;context-prepare.py,context-run.py,context-report.py.

Kaynak: [vLLM automatic prefix caching](https://docs.vllm.ai/en/latest/features/automatic_prefix_caching/).


## Site yayını — 13 Ekim 2026
Bu raporun ölçüm zamanı yayın durumunu anlatan eski notları tarihsel kayıttır. Sonuçlar zekayapar.com’da dört ayrı benchmark yazısı olarak yayımlandı. Sosyal medya yayını yapılmadı.
