Teknoloji altyapısı
Yerel model denemelerinde, yazılım geliştirmede ve günlük çalışmalarda kullandığım donanım ve araçlar.
ekran kartı4 × RTX 5090
masaüstü RAM256 GB DDR4
kart başına VRAM32 GB
Masaüstü
- GPU
- 4 × ASUS ROG Astral GeForce RTX 5090
- İşlemci
- AMD Ryzen Threadripper PRO 5955WX
- Bellek
- 256 GB DDR4 RAM
- Anakart
- ASUS Pro WS WRX80E-SAGE SE WIFI
- Depolama
- Samsung 9100 PRO · 4 TB
Sistem ve AI yazılımları
- İşletim sistemi
- Ubuntu 26.04.1 LTS
- Linux kernel
- 7.0.0-38-generic
- NVIDIA sürücüsü
- 595.99.02
- vLLM
- 0.30.0
- PyTorch
- 2.13.0 · CUDA runtime 13.2
- Python ortamı
- 3.12 · ayrı vLLM ortamı
- FlashInfer
- 0.6.18.post1
ASUS ProArt
- İşlemci
- AMD Ryzen AI Max+ 395
- Bellek
- 128 GB RAM
- Depolama
- 1 TB
MacBook Pro
- Çip
- Apple M4 Pro
- Bellek
- 48 GB birleşik bellek
- Depolama
- 1 TB
Model ve geliştirme araçları
Claude ve Codex ile çalışıyorum. Yerel modeller tarafında vLLM, CUDA ve Open WebUI kullanıyorum; sonuçları model, donanım ve ayarlarla birlikte kaydediyorum.
Mevcut inference düzeninde Qwen3.8-27B iki RTX 5090 üzerinde TP2 ile çalışıyor. Üçüncü kartta hafif Qwen2.5-Coder 7B ve Qwen3-Embedding 0.6B birlikte yer alıyor.
Donanım listesi ile test düzeni aynı şey değil. Her benchmark yazısında o ölçümde kullanılan kart sayısı ve koşullar ayrıca belirtiliyor. Bu sayfa değişen altyapıyla birlikte güncellenecek.