tüm notlar
Not · · 6 dk okuma ·

Uzun metin testinde yalnız süreyi ölçmek yetmedi

Uzun belge testinde bellek sayacı, token bütçesi, önbellek ve ilk cevap aynı şeyi anlatmıyor. Ryzen AI Max+ 395 denemesini hazırlarken ayırdığım dört konu.

Kullanılan teknolojiler ve ortam

Önceki ölçümün ortamı

  • Ryzen AI Max+ 395 · Radeon 8060S · 128 GB birleşik bellek
  • llama.cpp b11803 (a37cc4610) · Vulkan / ROCm
  • Gemma 4 26B-A4B UD-Q4_K_M · Gemma 4 31B Q4_K_M · gpt-oss-120b MXFP4

Bu notun kapsamı

  • 28 Ekim çalışmasının kod ve kayıtlarının yöntem incelemesi
  • Türkçe Vikipedi · modele göre token bütçesi · akış zamanları
  • Yeni GPU ölçümü veya model sıralaması yapılmadı

Bir yapay zekâya uzun belge okuturken kronometreyi başlatmak kolay. Zor olan, o sürenin neyi anlattığını doğru yazmak. Ryzen AI Max+ 395 üzerindeki uzun metin testini hazırlarken bunu birkaç ayrı yerde gördüm: cihazın bellek sayacı yalnız ölçtüğüm modele ait değildi, aynı token bütçesi her modelde aynı belgeyi vermiyordu, akışın başlaması da cevabın başlaması anlamına gelmiyordu.

Bu yazı yeni bir hız yarışı değil; o çalışmanın yöntem notu. Sonuç tablosunu tekrarlamak yerine, bir bekleme süresine güvenmeden önce hangi ayrımları yaptığımı anlatıyorum. Dördüncü ekran kartı ve bilgisayarın donması ise ayrı notun konusu; burada aynı olayı yeniden anlatmıyorum.

Bellek sayacı hangi işi gösteriyor?

Belirti: Gemma 4 26B-A4B’nin ilk Vulkan serisinde cihazın grafik belleği için kullandığı sistem belleği sayacı, daha sonra aldığım seriden belirgin biçimde yüksekti. Aynı modele ait dosyaya bakıyor olmam, gördüğüm toplamı otomatik olarak o modele ait yapmıyordu.

Neden: Kullandığım sayaç, tek bir uygulamanın değil, cihaz düzeyindeki kullanımı gösteriyor. Önceki denemelerden açık kalan uygulamalar böyle bir sayıyı etkileyebilir. Ancak sakladığım kayıtlar o andaki her sürecin ayrı bellek payını göstermiyor. Bu yüzden farkın tamamını belirli bir uygulamaya bağlayamıyorum.

Çözüm: Şüpheli seriyi silmedim; ayrı tuttum ve aynı istemlerle seriyi yeniden aldım. Eski ve yeni kayıtlardaki istem özetleri eşleşiyor. Ana çalışmanın tablosunda son seriyi kullandım; önceki seri denetim için duruyor.

Ölçüme etkisi: İlk bellek sayısını modelin tek başına ihtiyacı diye sunmak yanlış olurdu. Öte yandan tekrar ölçmek de “hız sorununu çözdüm” demek değil: en uzun metindeki ilk akış süreleri iki seride de birbirine yakındı. Bellek farkı ile hız farkını aynı şeymiş gibi yorumlamıyorum.

Aynı kaynak metin, her modelde aynı belge değil

Belirti: Metni token sayısına göre eşitleyince modellerin okuduğu karakter sayısı değişiyor. Token, kelimeyle aynı şey değil; modelin metni böldüğü parça. Aynı Türkçe cümleyi farklı modeller farklı sayıda parçaya ayırabiliyor.

Neden: Bu testin sorusu, aynı belgeyi hangi modelin daha hızlı bitirdiğinden önce, girdi büyüdükçe beklemenin nasıl değiştiğiydi. Bunun için ortak Türkçe Vikipedi kaynağını her modelin kendi metin parçalayıcısıyla işledim ve hedef uzunluğa göre kestim. Kaynak aynı, sona kadar alınan bölümün uzunluğu her modelde birebir aynı değil.

Çözüm: “Aynı belge” ile “aynı token bütçesi”ni ayrı koşullar olarak ele alıyorum. Aynı belgeyi karşılaştırmak istiyorsam dosyanın metnini sabit tutmam gerekir. Bağlam uzunluğunun etkisini araştırıyorsam modelin gerçekten aldığı token sayısını da kaydetmem gerekir.

Ölçüme etkisi: Bu çalışma ikinci soruya daha yakın. Ayrıca grafikteki hedef uzunluk, sunucuya ulaşan nihai istemin tam sayısı değil. Kod, soru ve sohbet şablonu için pay bırakıyor; metne aranan bilgi ve soru daha sonra ekleniyor. Bu nedenle hedef uzunlukla gerçek girdi sayısını birbirinin yerine kullanmamak gerekiyor.

Modeli ısıtmak, belgeyi önceden okutmak değil

Belirti: Aynı belgeyle ikinci soru daha hızlı dönebilir. Ama her hızlı ikinci cevap, yalnız modelin “alışması” ile açıklanamaz.

Neden: İki ayrı hazırlık var. Birinde model zaten bellekte, çalıştırıcı da ilk isteğini yapmış durumda. Diğerinde ise önceki belgenin hesaplanmış kısmı yeni istekte yeniden kullanılabiliyor. Bu ikinci durum, uzun metni sıfırdan okutma süresini değiştirir.

Çözüm: Her model ve çalıştırma yolu için kısa bir ısınma isteği yaptım, onu sonuçlara katmadım. Asıl isteklerde önceki istem hesabının yeniden kullanılmasını kapattım; kayıtlardaki ilgili önbellek sayacını da kontrol ettim.

Ölçüme etkisi: Sonuçlar, model her soruda diskten yükleniyormuş gibi okunamaz. Ama belgenin önceden hesaplanmış kısmından yararlanan ikinci soru süresi olarak da okunamaz. “Önbellek kapalı” derken bütün bilgisayar önbelleklerini değil, burada önceki istem hesabının tekrar kullanımını kastediyorum.

Bir şey gelmeye başladı mı, cevap gelmeye başladı mı?

Belirti: Sunucudan metin akmaya başlayabilir ama kullanıcının istediği cevap henüz gelmemiş olabilir. Düşünme metni ile son cevap ayrı alanlarda gönderilebiliyor.

Neden: Ölçüm kodum iki ayrı zamanı tutuyor: cevap veya düşünme alanlarından herhangi birinde ilk dolu parçanın gelişi ve yalnız cevap alanındaki ilk dolu parçanın gelişi. Bunlar aynı olay değil. Ana çalışmadaki hız grafiğinin ilk akış ölçütü de bu ayrımla okunmalı; yalnız cevap başlangıcı olarak alınmamalı.

Çözüm: İki alanı ayrı sakladım. Yalnız düşünme metni gelen, cevap alanı boş kalan istekte “cevap başladı” zamanı yazmıyorum. Akış başladığı halde cevap gelmemesini de hızlı başarı saymıyorum.

Ölçüme etkisi: Kullanıcı açısından bekleme sorusuna bakarken cevap başlangıcı önemli; çalıştırıcının ilk üretimini incelerken ilk akış da yararlı. İkisini tek bir “ilk kelime” başlığında toplamak farkı gizler. Üstelik bunlar istemci koduna varış süreleri; tarayıcının yazıyı ekrana çizme süresini bu testte ölçmedim.

Bir hız tablosuna bakarken benim kontrol listem

  • Ne sabit? Aynı dosya mı, aynı token bütçesi mi? İkisi aynı deney değil.
  • Hangi başlangıç? Model yüklenmiş mi, kısa ısınma yapılmış mı, belge hesabı yeniden kullanılmış mı?
  • Hangi bitiş? İlk akış, cevabın ilk parçası ve cevabın tamamı ayrı süreler.
  • Bellek kime ait? Cihazın toplam sayacı tek uygulamanın kullanımını göstermeyebilir.
  • Şüpheli kayıt duruyor mu? Yeniden ölçüm önceki denemeyi yok etmemeli; neyin değiştiği sonradan anlaşılabilmeli.

Benim için bu hazırlığın yararı yeni bir “en hızlı model” seçmek olmadı. Hangi soruyu ölçtüğümü daha açık tarif etmek oldu. Bir belgeyi özetletmek isteyen okurla, modelin uzun girdideki hesaplama süresini araştıran kişi aynı sayıya baksa da aynı şeyi sormuyor.

Kaynaklar ve bu notun sınırı

Bu not, 28 Ekim 2026 tarihli çalışmanın mevcut ölçüm kodu, istem özetleri, eski ve son Gemma serisi ile nihai istek kayıtlarının yeniden okunmasına dayanıyor. Yeni model çalıştırılmadı; yeni başarı puanı veya donanım sıralaması çıkarılmadı. Önceki denemenin bütün süreçlerinin bellek payı ayrı kaydedilmediği için bellek farkına kesin bir kök neden atamıyorum.

Ortam: Ryzen AI Max+ 395, Radeon 8060S, 128 GB birleşik bellek; llama.cpp b11803, Vulkan ve ROCm yolları. Modeller: Gemma 4 26B-A4B, Gemma 4 31B ve gpt-oss-120b. Bu notun donanımı masaüstündeki RTX kartları değil.

Ana yazıda sonuçlar, yöntem ve indirilebilir çalışma kayıtları bulunuyor. Burada bir model cevabı yeniden alıntılanmıyor veya düzeltilmiş bir cevap sunulmuyor; konu, o sonuçların hangi koşullarda okunması gerektiği.

ölçüm → not → yeniden denemediğer not