# Değerlendirme ve yorum sınırları

- Bu paket yalnız MTP3 açık/kapalı aynı çalışan Qwen profilini karşılaştırır. Diğer modeller,şirketverisi,gatewayyetkisi veya müşterifirma kabulü ölçülmez.
- Doğrulukta20benzersizsentetikJSONsiparişi+3JSfonksiyonu var. Herprofile80JSON+12kodyanıtı olması bağımsız92problem demek değildir. İki seed greedytemperature0ile yeni rastgele örneklem üretme garantisi sağlamaz. Küme önceki gece testinden alınmıştır; kolay/küçük,genelkalite temsili değil.
- MTP'nin semantik kalite üzerindeki genel etkisi veya sampling dağılımı eşdeğerliği bu testten kanıtlanmaz. TamyanıtSHAeşitliği ve doğrucevap oranı ayrı ölçülür. JSONformat vealanexact,kod12sabitsözleşmetesti;insanöznelyazıdeğerlendirmesi yapılmadı.
- Yükte gerçek10insan yerine eşzamanlı10HTTPistek çalıştırılır. 10sequence profilinin kısa tekrarlı istemlerde ölçümüdür; tenantfairqueue/gateway/HTTPS,ağ,müşterikotasızüretimkapasitesi,uzuncontext,uzuntokensürekliyük,SLA,sürdürülebilirlik yok.
- Benzersizsaltsoğukprefix anlamına gelir. Warmup3tekistek×128çıktı;512çıktılıveçoklistekliherşekliısıttığıiddiasıyok. İlk MTP açık aşamasında resample/CUDA/Triton JITuyarıları loglarda görüldü. Ana ölçümlerden sonradançıkarma yapılmaz. Yeni şekil derleme/autotune süreleri bazı ilk ölçümlere girmiş olabilir. İki blok ayrı saklanır; genelmedyan yanında blok/istem sonuçları incelenir.
- ABBAprofilsırası zamansal kaymayı azaltır, tamrandomizeedilmişprofilgrupları veya bağımsızdonanımdeneyi değildir. Herphaseyeniservis,başlangıçderlemesianaölçümdışında; kernel/grafcache durumu farklı olabilir. GPU2diğertrafikönkontrolü sonradangelenisteği engellemez.
- Aynı istemli yükte her isteğin cache_saltıayrı; KVpaylaşımıazalır. Çıktı512ignoreEOS,samplinggreedy,thinkingkapalı. Önceki sıcakcacheMTPpaylaşımına birebir hızkarşılaştırması yapılmaz;bu yeni koşullar farklıdır.
- Toplamçıktı/saniye grupçıktı/(sonyanıtsonu−ilkistekbaşlangıcı). İstemci thread/bariyerhazırlığı,modelstartveayrıkontrollerhariç. Batchwall ve requestspan ayrı saklanır. Kişibaşınaapproxdecode SSEchunkilk/sonzamanlarından; MTPçoktokenchunk etkisi nedeniyle sunucutek-tokengecikmesi değildir. HTTPyanıtsüresi,TTFTvee2etoken/sn ayrıca raporlanır.
- GPUtelemetryturbaşında ve~0,5snaralıkla;48/80 gibi örnektemperaturespeak sürekli donanım/riserstresgarantisi değil. ModelHTTPsürelerinintoplamı paralelisteklerde bakımduvarsaatiyleaynı değildir. Token sayıları usageüzerinden,eksikusagebaşarısızdır.
- Başarısızgrup hamkayıtı saklanır ve deney durur. DONE+RESTOREDolmadan nihai rapor yok. Başarısızbirdenemeyigizleyip yalnızbaşarılar seçilmez. Değerlendirme kodu veri ve yöntem ilkçağrıöncesiSHA256ile sabitlendi.
- ÜretimscriptSHA256+gerçekQwenJSONinference+5servisactive+coder/embeddingPIDeşitliği geri dönüş kabulüdür; publicHTTPSfirma isteği veya kesintisizgatewaySLA testi değildir. Reboot yapılmaz.
