YKS testini hazırlarken takıldığım altı yer
Formülü resim olan sorular, vLLM’de açılmayan Mistral, ekran kartına bırakılan pay, açılmayan Nemotron ve kapanmayan düşünme: belirti, çözüm, sonuca etkisi.
Donanım
- 4× RTX 5090 (32 GB) · Threadripper PRO 5955WX
- NVIDIA 595.99.02 · güç sınırı 450 W
- Ekran kartında en az 4 GB boş
Çalıştırıcılar
- vLLM 0.30.0 · transformers 5.18.0
- FlashInfer 0.6.18.post1 · PyTorch 2.13.0+cu132
- llama.cpp b11803 (a37cc4610)
Dün gece sekiz yerel modele 2026 YKS sorularını çözdürdüm (sonuçlar burada). Ölçüm bir gecede bitti ama yol boyunca altı yerde takıldım. Bunları yazıyorum, çünkü bir kısmı sonuç tablosunu nasıl okumanız gerektiğini doğrudan etkiliyor.
Kurulum: 4× RTX 5090 (her biri 32 GB), vLLM 0.30.0 ve llama.cpp b11803. Her model ayrı bir pencerede çalıştı: o sırada bilgisayardaki Qwen servisleri durdu, model bitince geri açılıp gerçek bir istekle kontrol edildi.
1. ÖSYM kitapçığındaki formüller metin değil, resim
Belirti: PDF'ten soruları çıkarırken bazı soru cümleleri yarım geliyordu: "Buna göre ____ toplamı kaçtır?" gibi. Aradaki ifade boştu.
Neden: ÖSYM formülleri sayfaya küçük resim olarak gömüyor. PDF'in metin katmanında bu ifadeler hiç yok. Şekilli, tablolu sorular ve şıkları resim olan sorular da aynı durumda.
Çözüm: Her soruyu işaretledim: şekil, formül resmi ya da içerik alt çizgisi varsa metin koşuluna almadım. 291 sorudan 171'i metinle eksiksiz okunabiliyor. Kalan 120 soruyu 150 dpi kırpım resim olarak, yalnız görsel girişi olan modellere ayrı bir koşulda verdim.
Ölçüme etkisi: Matematik metinden neredeyse hiç çözülemiyor: AYT Matematik'te 40 sorunun 5'i, TYT Temel Matematik'te 10'u metin-yalnız. O yüzden ana tablodaki matematik sütunları az ve seçilmiş sorudan oluşuyor, öğrenci ortalamasıyla orada karşılaştırmadım. Tam sınav karşılaştırması metin ve görsel koşulun birleşiminden geliyor.
2. Mistral Small 4 vLLM'de açılmadı
Belirti: Sunucu model yüklenmeden ImportError ile kapandı: PixtralRotaryEmbedding ve position_ids_in_meshgrid bulunamadı.
Neden: vLLM 0.30'un Pixtral (Mistral'ın görsel kısmı) kodu bu iki adı transformers'tan alıyor. Kurulu transformers 5.18'de biri yeniden adlandırılmış, diğeri kaldırılmış.
Çözüm: Diğer servislerin kullandığı ortak Python ortamına dokunmak istemedim. Benchmark klasörüne küçük bir sitecustomize.py koydum: eski adları geri tanımlıyor ve yalnız bu sürecin PYTHONPATH'ine ekleniyor. Model ikinci denemede açıldı.
Ölçüme etkisi: Yok; ağırlıklar ve hesap aynı. Ama başka bir vLLM/transformers ikilisinde bu yamaya gerek kalmayabilir ya da başka bir yer kırılabilir.
3. Ekranın bağlı olduğu karta pay bırakmak
Belirti: gpt-oss-120b dört karta yayılınca ekranın bağlı olduğu kartta yalnız 3.923 MB boş yer kaldı. Benim koşu betiğim açılışta bunu kontrol ediyor ve 4 GB'ın altında modeli kendisi kapattı.
Neden: Dördüncü kart aynı zamanda masaüstünü çiziyor. Daha önce bu kartın belleği sıkışınca masaüstü oturumu çökmüştü. vLLM'e kartların yüzde 82'sini kullan dediğimde masaüstüne yeterli yer kalmadı.
Çözüm: Oranı yüzde 80'e indirdim; boş yer 4.547 MB'a çıktı ve model sorunsuz çalıştı. llama.cpp tarafında da o karta 5 GB pay bırakan ayarı kullandım.
Ölçüme etkisi: Bütün vLLM modelleri aynı yüzde 80 ile çalıştı. Bu, eşzamanlı istek ve bağlam için kalan alanı biraz küçültüyor, doğruluğu etkilemiyor.
4. Nemotron ikinci açılışta hazır olmadı
Belirti: Nemotron 3.5 Super VL'in ilk penceresi sorunsuzdu (sunucu 270 saniyede açıldı). Görsel sorular için düşünme açık koşulunu ayrı bir pencerede başlattığımda sunucu iki kez hazır duruma gelmedi; iki seferde de süreç kapandı (çıkış kodu -9).
Neden: Kesin olarak bulamadım. Açılıştaki FlashInfer otomatik ayar adımında takıldığından şüpheleniyorum; bu adımı kapatınca sorun kayboldu.
Çözüm: Üçüncü denemede --kernel-config '{"enable_flashinfer_autotune":false}' ile açtım, sunucu 120 saniyede hazırdı. Bu arada model kartı vLLM 0.32 istiyor; elimdeki 0.30, taslak kafa (MTP) kapalıyken sorunsuz çalıştı.
Ölçüme etkisi: Yalnız o koşulda otomatik ayar kapalıydı. Bu, hızı biraz değiştirebilir; cevapları değiştirmez.
5. Mistral Medium 3.5: bellek, hız ve boş görsel cevaplar
Belirti: Üç ayrı sorun. (a) llama.cpp'yi 81.920 token bağlam ve 4 paralel istekle açınca bellek yetmedi (cudaMalloc hatası). (b) Düşünme açıkken ilk sorular 9.000 tokenın üzerinde düşündü; istek başına yaklaşık 19 token/s üreten bu modelle 171 soru yaklaşık 6 saat sürecekti. (c) Görsel sorularda 18 cevabın 18'i boş geldi ve 1.024 token sınırında kesildi.
Neden: 128 milyar parametrenin hepsi her tokende çalışan (yoğun) bir model; aynı kartlarda az parametresi çalışan MoE modellerden çok daha yavaş ve bağlam belleği daha pahalı. Görsel sorundaki boş cevabın nedenini o gece bulamadım.
Çözüm: Bağlamı 36.864 token ve 2 paralel isteğe indirdim. Düşünme açık koşulları ve görsel koşulu erteledim; kısmi çıktıları puanlamaya almadım.
Ölçüme etkisi: Sonuç tablosunda Mistral Medium'un yalnız düşünme kapalı sonuçları var. "Düşünme açık" sütunundaki boşluk modelin başaramadığı anlamına gelmiyor; ölçülmedi.
6. GLM-5.3 Flash'ta düşünme kapanmıyor
Belirti: Diğer modellerde düşünmeyi açıp kapatabildim. GLM-5.3 Flash'ın şablonunda yalnız düşünme miktarı seçiliyor: az, çok ya da en çok.
Çözüm: GLM'yi "az" ve "çok" ile koştum. gpt-oss'ta da benzer şekilde düşük ve yüksek düşünme ayarı kullandım.
Ölçüme etkisi: Tablodaki "kapalı/az" sütununda GLM ve gpt-oss az da olsa düşünerek cevap verdi; diğerleri hiç düşünmeden. Bu sütunda GLM'nin önde olmasını bu farkla birlikte okumak gerekiyor.
Bir dahaki sefere
- Ekran kartındaki 4 GB payını betik açılışta kontrol etmeye devam edecek; bu gece bir modeli masaüstü çökmeden önce durdurdu.
- Bir modelin aynı gece ikinci kez açılacağı koşullarda FlashInfer otomatik ayarını baştan kapalı başlatmayı deneyeceğim.
- Yoğun ve büyük modellerde ucuz koşulları (düşünme kapalı) önce koyup pencereye süre sınırı veriyorum; uzun koşu gecenin geri kalanını tıkamasın.