tüm testler
Benchmark · · 8 dk okuma ·

GLM 4.7 Flash: ROCm ve CUDA ortamlarında

Ryzen AI Max+ 395 ve iki RTX 5090 üzerinde aynı BF16 model: kod, JSON, araç çağırma ve eşzamanlı isteklerin sonuçları.

Kullanılan teknolojiler ve ortam

ROCm ortamı

  • GLM-4.7-Flash · BF16
  • Ryzen AI Max+ 395 · Radeon 8060S
  • 128 GB birleşik bellek
  • vLLM 0.31.0 · ROCm 7.2.3
  • TP1 · BF16 KV · 6 GiB KV
  • 16K bağlam · 5 sequence · eager

CUDA ortamı

  • GLM-4.7-Flash · BF16
  • 2× RTX 5090 · kart başına 32 GB
  • Threadripper PRO 5955WX
  • vLLM 0.30.0 · CUDA 13.2 paketleri
  • TP2 · BF16 KV · 19.872 token KV
  • 16K bağlam · 5 sequence · eager

GLM-4.7-Flash’ın aynı BF16 ağırlıklarını iki farklı bilgisayarda çalıştırdım. Bir tarafta 128 GB birleşik belleğe sahip Ryzen AI Max+ 395, diğer tarafta Threadripper PRO 5955WX ve iki RTX 5090 var. Model aynı olsa da bellek düzeni ve çalıştırma biçimi farklı. Bu yüzden tek bir hız sayısıyla karar vermek yerine kod, JSON, araç çağırma ve eşzamanlı istekleri ayrı ayrı ölçtüm.

Her bilgisayarda 153 ölçüm isteği ve bunlardan ayrı 30 ısınma isteği var. Sonuçlarda doğru cevap ile istenen biçimde cevap vermeyi de ayırdım. HTTP 200 almak, örneğin geçerli JSON aldığım anlamına gelmiyor.

İki kurulum

ASUSYapar
DonanımRyzen AI Max+ 395, Radeon 8060S, 128 GB birleşik bellekThreadripper PRO 5955WX, 2× RTX 5090
Model dağıtımıTP1TP2
MotorvLLM 0.31.0 + ROCm 7.2.3vLLM 0.30.0 + CUDA 13.2 paketleri
Model / KVBF16 / BF16BF16 / BF16
KV bütçesi6 GiByaklaşık 1 GiB; 19.872 token

16K bağlam, en fazla 5 aktif sequence, 1.024 token batch, eager çalışma, kapalı prefix cache ve kapalı MTP ortak ayarlar. Düşünme kapalı; sıcaklık 0. Aynı istemler ve aynı puanlayıcı kullanıldı. Seeds 42, 43 ve 44 tekrarları birbirinden bağımsız yeni sorular değildir.

Önce cevaplar

KontrolASUSYapar
Kod: testleri geçen ve kesilmemiş12/1812/18
JSON: katı sözleşmeye uygun ve doğru3/303/30
Araç: doğru ad ve argümanlar21/2418/24

Kodun yalnız istenen kaynak biçiminde gelmesi ASUS’ta 3/18, Yapar’da 6/18. Kod testlerini geçmek ile Markdown kullanmama şartını yerine getirmek farklı kontroller. İşlevsel kontrolde varsa dış Markdown çiti ayrılıyor; fonksiyonun kodu düzeltilmiyor.

Yük bölümündeki 81 kayıt çıkarma yanıtının hiçbirinde iki cihaz da katı çıktı sözleşmesini geçemedi: sonuç iki tarafta da 0/81. Cevabın sözleşmesi hızdan ayrı kontrol ediliyor. Grafiklerdeki hız, doğru cevabın hızı diye okunmamalı; her şeklin başarı sayısı ayrıntılı tabloda birlikte veriliyor. Bu küçük görev seti genel kodlama ya da muhakeme sıralaması değil.

Araç çağırmadaki fark üç bağımsız soru değil: aynı stok sorusunun üç tekrarında ASUS depo argümanını izmir, Yapar İzmir üretti. Sabit altın sözleşme küçük harfli izmir beklediği için Yapar üç puan kaybetti. Kod biçimindeki fark da aynı fonksiyonun üç tekrarında Markdown çiti kullanılıp kullanılmamasından geliyor. Bu ayrıntılar genel kalite yorumu yapmayı sınırlar.

Görev sonuçları
Görev sonuçları · GLM-4.7-Flash BF16. Görseli büyütmek için tıkla.

İstekler çoğalınca

1K, 4K ve 8K hedef girdileri 1, 3 ve 5 eşzamanlı HTTP isteğiyle, her koşulu üç kez tekrarlayarak çalıştırdım. Çıktılar en fazla 256 token; doğal bitiş korunuyor. Modelden her yanıtta 256 token üretmesini zorlamadım. Bu nedenle kısa kayıt çıkarma cevaplarının toplam hızını, uzun metin üretme kapasitesi diye kullanmıyorum.

Girdi / istekASUS toplam token/snYapar toplam token/snASUS E2E snYapar E2E sn
1K / 19,3716,005,203,03
1K / 39,3743,6815,583,24
1K / 511,9969,4919,763,39
4K / 15,6714,588,803,38
4K / 35,1734,6328,394,11
4K / 54,1032,2458,804,78
8K / 13,3012,5814,893,92
8K / 32,5717,4857,485,25
8K / 52,3019,26105,788,87

Toplam çıktı hızı, partide üretilen bütün çıktı tokenlarının ilk istek başlangıcı ile son isteğin bitişi arasındaki süreye bölünmesi. E2E, tek isteğin gönderilmesinden bitmesine kadar geçen süre. Tabloda üç partinin toplam hız medyanı ile o koşuldaki isteklerin E2E medyanı gösteriliyor; ikisi aynı süre değildir. İlk içeriğe kadar bekleme de ayrı grafikte.

Toplam çıktı hızı
Toplam çıktı hızı · GLM-4.7-Flash BF16. Görseli büyütmek için tıkla.
Yanıtın tamamlanma süresi
Yanıtın tamamlanma süresi · GLM-4.7-Flash BF16. Görseli büyütmek için tıkla.
İlk içeriğe kadar bekleme
İlk içeriğe kadar bekleme · GLM-4.7-Flash BF16. Görseli büyütmek için tıkla.

Bellek farkı sonucu etkiliyor

Yapar’da ağırlıklar kart başına yaklaşık 28,08 GiB tuttu. KV için kalan alan iki kartta da aynı uzunlukta beş isteği bellekte tutmaya yetmiyor. Beş HTTP isteğini birlikte göndermek, beş isteğin bütün KV verisinin aynı anda GPU’da kalması anlamına gelmiyor. Motorun bekletmesi veya yeniden hesaplaması gecikmenin parçası. İki tarafta da tüm koşuyu kapsayan sayısal preemption sayacı arşivi yok; boş log eşleşmeleri veya birkaç log görüntüsü sıfır preemption kanıtı değil. ASUS’taki 6 GiB KV ile bu farkı görmezden gelip sonucu yalnız GPU markasına bağlayamam.

CUDA/ROCm sürümleri, TP1/TP2 dağıtımı, işlemciler ve kernel yolları da farklı. ASUS tarafında attention LSE düzeni için yalnız başlatılan süreçte uygulanan bir adaptör var; sayısal kontrolü ve kaynak kodu teknik kayıtta duruyor. Sonuçlar bu iki kurulum için; bütün AMD veya NVIDIA cihazları için değil.

İstek ve token bütçesi

ASUS: 153 ana istek, 372.998 girdi ve 6.217 çıktı tokenı; 0 HTTP/SSE hatası, 0 kesilme. Yapar: 153 ana istek, 372.998 girdi ve 6.256 çıktı tokenı; 0 transport/istemci hatası. 129 yanıt doğal bitişle, 24 yanıt araç çağrısıyla tamamlandı; kesilme yok.

Isınma, model indirme, yükleme, kernel derleme ve ön kabul bu token/süre toplamlarına dahil değil. HTTP sürelerini toplamak da eşzamanlı istekler nedeniyle toplam duvar saati süresi vermez. Güç ve enerji için bağımsız ölçüm yapılmadı.

Aynı deneyi tekrarlamak

24 benzersiz kalite vakası: 6 Python fonksiyonu, 10 JSON/mantık sorusu, 8 sentetik araç çağrısı. Her biri üç seed ile ölçüldü. Yük tarafında 9 farklı girdi/eşzamanlılık şekli, üçer parti var. Kod için 1.024, diğer kalite vakaları için 512 çıktı tokenı üst sınırı kullanılıyor. Kod çıktıları onarılmadan sınırlı çalıştırıcıda test ediliyor; JSON ve araç sözleşmeleri altın sonuçla karşılaştırılıyor.

Model kaynağı: GLM-4.7-Flash resmî model sayfası ↗ . Sabit revision: 7dd20894a642a0aa287e9827cb1a1f7f91386b67. İstemler, gerçek token sayıları, örnek yanıtlar, ayarlar ve hata kayıtları aynı ölçüm paketinde tutuluyor.

ölçüm → not → yeniden denemediğer test