tüm notlar
Not · · 5 dk okuma ·

Local model karşılaştırmasını hazırlarken takıldığım noktalar

Bellek bütçesi, FlashInfer derlemesi, CUDA kütüphane bağlantısı ve test sözleşmesi: belirtiler, çözümler ve ölçüme etkileri.

Kullanılan teknolojiler ve ortam

Donanım ve çalışma ortamı

  • 3× RTX 5090 · Threadripper PRO 5955WX
  • Ubuntu 26.04.1 LTS · NVIDIA 595.99.02
  • vLLM 0.30.0 · PyTorch 2.13.0+cu132

Hazırlık ve doğrulama

  • FlashInfer 0.6.18.post1 · CUDA NVRTC
  • Python 3.12.15 · ayrı model ortamları
  • Ön kontroller, ana ölçüm ve geliştirme ayrı

Local/cloud rehberindeki süreler, modeller hazırken yapılan görev çağrılarını gösteriyor. O noktaya gelene kadar indirme, bellek ayarı, ilk derleme ve test sözleşmesini kontrol etme işleri de vardı. Bunları sonuçların yanına eklemek yerine ayrı kaydediyorum.

Model sığıyor ama bellek kontrolünden geçmiyor

Nemotron’un ilk açılışında üçüncü kartın kullanılabilir belleği, seçtiğim yüzde 95 bellek bütçesini karşılamadı. Üç kartlı profili yüzde 90’a indirince ağırlıklar yüklendi. Burada sorun modelin kod yazma kalitesi değildi; henüz görev isteği göndermemiştim.

Devstral’da ise ters yönde bir ayar gerekti. FP8 ağırlıklar, derleme ve CUDA graph aşaması tamamlandı; fakat 16K bağlam için gereken 2,5 GiB KV alanına karşılık yalnız 2,21 GiB kalmıştı. Yalnız o model sürecinin bellek payını yüzde 90’dan yüzde 92’ye çıkardım. Bağlamı küçültüp karşılaştırmanın görev koşulunu değiştirmedim. Bu oranlar o andaki yerleşime ait; her bilgisayar için hazır ayar değil.

Sessiz bekleme her zaman kilitlenme değil

RTX 5090 için ilk FlashInfer MoE derlemesi uzun sürdü. Worker’ların beklediğini görmek tek başına kilitlenme anlamına gelmiyordu: nvcc ve ninja çalışıyor, yeni nesne dosyaları oluşuyordu.

İki teknik denemeyi ana ölçüm başlamadan durdurdum. Daha sonra kurulu FlashInfer kaynaklarının 96 derleme hedefini ayrı bir kullanıcı servisi altında, 12 CPU işi ve 80 GiB bellek sınırıyla tamamladım. Bu derleme GPU kullanmadı. İlk ayrı çalıştırmada servis ortamı ninja’yı bulamadı; sanal ortamdaki yürütülebilir dosyanın tam yolunu kullandım.

Kütüphane kurulu, bağlayıcı aradığı adı bulamıyor

Derlenen nesneler hazırdı ama son bağlantı adımı -lnvrtc hatasıyla durdu. Kurulu CUDA wheel’inde libnvrtc.so.13 vardı; bağlayıcının aradığı sürümsüz libnvrtc.so adı yoktu.

Kullanıcı klasöründe, kurulu dosyaya işaret eden sürümsüz bir sembolik bağlantı oluşturdum. LIBRARY_PATH değerini yalnız derleme sürecine verdim; model süreçlerinde de ilgili wheel kütüphane dizinini kullandım. Sistem dizinini, wheel içeriğini veya NVIDIA sürücüsünü değiştirmedim. Son bağlantı adımı yaklaşık 0,465 saniye sürdü; bu sayı bütün ilk derlemenin süresi değil.

Düşünme bütçesi bitiyor, kod gelmiyor

Nemotron ana turdaki 14 çağrının sekizinde final metin döndürmedi. Bazı yanıtlar 8.192 tokenlık bütçeyi düşünme sırasında tüketti. Bunları teknik açılış hatası diye çıkarıp başarı oranını yükseltmedim; ana sonuçlarda kaldılar.

Ayrı geliştirme turunda bu modelin düşünmesini kapattım ve kabul hatalarıyla en fazla iki ek düzeltme istedim. Bu yeni koşulu ana ölçümle birleştirmedim. İlk yanıt süresini hesaplarken final metni olmayan çağrıya sıfır saniye de yazmadım.

Değerlendiriciyi sorgularken istemi de kontrol etmek gerekiyor

Bir teslimde standart kütüphanedeki uuid importunun reddedilmesini önce değerlendirici hatası sandım. Tam sistem istemine dönünce, izin verilen modüllerin açıkça listelendiğini ve aynı listenin Codex’e de verildiğini gördüm. uuid o listede değildi; ret bu testin sözleşmesine uygundu.

İlk yorumumu düzelttim. İzni genişleterek yaptığım keşif amaçlı yeniden puanlamayı ana tablolara katmadım; özgün yanıtlar, puanlar ve sabitlenmiş testler korundu. Standart kütüphanede bulunmakla belirli bir görevin izin listesinde bulunmak aynı koşul değildi.

Bu hazırlıklar sonuçları nasıl etkiliyor?

İndirme, açılış, ilk derleme ve operatör müdahalesi görevlerin HTTP/CLI sürelerine dahil değil. Bunların toplam insan süresini ölçmedim; ölçülmüş bir kurulum maliyeti de çıkarmıyorum. Cloud hesabı ve mevcut Qwen ortamı da önceden hazırdı.

Testlerin ardından Qwen, coder ve embedding servislerini geri açıp gerçek yanıtlarla kontrol ettim. Hazırlık denemeleri, ana ölçüm ve sonradan yapılan geliştirme turları ayrı tutuluyor.

Ölçüm sonuçları ve local/cloud rehberi

ölçüm → not → yeniden denemediğer not