Uygulama teslimi testini hazırlarken ve incelerken karşılaştığım sorunlar
Bağlam yalıtımı, 32K bellek bütçesi, görünürde başarılı işlemler ve tarayıcı kontrolleri: belirtiler ve doğrulamalar.
Donanım
- Threadripper PRO 5955WX
- 3× RTX 5090, toplam 96 GB sınıfı VRAM
- Profile göre 1–3 GPU
Yerel ortam
- Ubuntu 26.04.1 LTS / NVIDIA 595.99.02
- vLLM 0.30.0 / PyTorch 2.13.0+cu132
- Python 3.12.15 / CUDA
Cloud kolu
- Codex CLI / GPT-6.1 Sol
- Medium reasoning / araçsız dosya teslimi
- Temiz /tmp çalışma dizini / proje yönergeleri kapalı
Ürün ve kabul
- Python stdlib / SQLite / vanilla JS
- 1 uygulama × 3 tekrar × 5 profil
- 40 dış kontrol / ayrıca 9 tarayıcı akışı
Uygulama teslimi karşılaştırması → sonuçlar ve grafikler
Bu not hazırlık koşullarını anlatır; tamamlanmış ana karşılaştırmanın sonuçları yerine geçmez. Çalışma ZAI-36, kaynak Görev Masası protokolü.
Küçük kod görevindeki bütçe tam uygulamaya yetmedi
İlk hazırlık turunda yerel modeller için önceki küçük kod işlerinde kullandığım 16K bağlam ve 8.192 çıktı tokenını korudum. Codex’in üç tam teslimi 9.672–11.279 çıktı tokenı kullandı. Qwen’in ilk JSON yanıtı 8.192’de, HTML dosyası bitmeden kesildi.
Burada yalnız limiti biraz artırmak da yetmiyor: düzeltmede önceki tam uygulama, görev metni, hata geri bildirimi ve yeni tam uygulama aynı bağlama girmeli. 16K içinde bunu güvenilir biçimde sağlayamadım. İlk turu bütün Codex yanıtları ve Qwen’in yarım çıktılarıyla birlikte ayırdım. Yeni ana protokol 32K bağlam ve en çok 16.384 yerel çıktı tokenıyla baştan başladı. Düzeltmede gerçek tokenizer sayımına göre kalan çıktı bütçesi kayda giriyor. Codex CLI’nin sağlayıcı sınırlarını aynı yerel limitmiş gibi sunmuyorum.
32K için 50 MiB civarında KV açığı
Devstral’ın FP8 ağırlıkları tek RTX 5090’a sığıyor. Fakat daha uzun bağlamın KV alanı da gerekiyor. FP8 E4M3 KV ile yüzde 92 bellek payında 32K için gereken 2,50 GiB yerine 2,45 GiB kaldı. Motorun tahmini üst bağlamı 32.096 token idi; 32.768 isteği kabul edilmedi.
Yalnız benchmark sürecinin payını yüzde 93’e yükselttim. Sunucu 32.768 bağlamla açıldı ve CUDA’da gerçek kısa isteğe doğru yanıt verdi. Çalışan sürücü veya sistem Python’u değişmedi. FP8 KV, diğer modellerdeki KV biçimiyle eşit değil; model profili farkı olarak kaydedildi. Bu ayar her donanım veya ekran kullanımında aynı sonucu garanti etmiyor.
İki geri dönüş betiği aynı bakıma sahip olmamalı
Hazırlıkta eski birimin kapanış kancası üretim servislerini geri açarken, yeni deneme aynı servisleri durdurmaya çalıştı. Aynı bakım işaretini okuyan iki geri dönüş akışı yüzünden systemd işi iptal edildi. Modelin hesaplama hatası değildi; koordinasyon hatasıydı.
Yeni denemeyi ilerletmeden eski geri dönüş süreçlerinin tümünün bitmesini beklettim. Ön kontrol, model değiştirme ve son geri dönüşü tek koordinatörün sahipliğine aldım. Bakım işareti Git’ten de çıkarıldı; başka bilgisayarın geçmiş işareti canlı durum sanmaması gerekiyor. Başarı için yalnız servisin active olması değil, Qwen’den gerçek JSON, coder’dan gerçek yanıt ve embedding’den 1024 boyutlu vektör almayı şart tuttum.
Tarayıcı kontrol aracı ile ürün hatasını ayırmak
Hazırlıktaki ilk silme düğmesi yerel onay penceresini açtı. Tarayıcı kontrol aracının focus komutu orada zaman aşımına düştü; onay penceresini kontrol eden API de aynı engelle karşılaştı. Yeni sekmeyle diğer akışlara devam edebildim.
Bu nedenle bütün modellerde silmenin iptal/onay adımı tarayıcı değerlendirmesinde ölçülmemiş olarak kalıyor. HTTP üzerinden silme ve sahiplik kontrolleri ayrı uygulanıyor. Ölçemediğim GUI adımını başarılı veya ürün hatası saymıyorum.
Model deposunun toplam dosya boyutu, yüklenen ağırlık boyutu değil
Devstral metadata listesindeki 48,04 GiB toplamı iki alternatif dosya grubunu birlikte topluyordu: iki consolidated dosya ve altı Hugging Face shardı. Gerçekte kullandığım klasörde yalnız altı FP8 shard vardı; toplam 25.793.059.408 bayt. Motor ağırlık yükleme için 23,3 GiB bildirdi.
İndirme listesinin bütününü toplayıp modelin gerçek VRAM ihtiyacı diye yazmak yanlış olurdu. Kaynak revisionı, sunulan dosya grubu, quantization ayarı ve motorun gerçek yükleme kaydını birlikte sakladım.
Neler değişmedi?
Ana koşunun görev metni, kabul testleri ve bütçeleri ilk ana yanıt alınmadan sabitlendi. Hazırlıkta standart kütüphanenin normal vars/locals/globals kullanımını istem dışı reddeden eski isim kontrolünü de kaldırdım; doğru referans ve üç kasıtlı bozuk örneği yeniden doğruladım. Yeni ana koşu düzeltilmiş ortak değerlendiriciyle başladı. Ürün koduna elle düzeltme yapılmadı.
Hazırlık süreleri model HTTP/CLI çağrılarının süresi değil. Pilotun tamamlanan çağrı tokenları/süreleri ayrı; iptal edilen yarım çağrının son kullanım sayısı bilinmediği yerde sayı üretilmedi.
Ortak istemin dışındaki proje bağlamı
Codex kontrolünü repo içindeki boş klasörden açmak araç kullanılmasa da otomatik AGENTS yönergelerinin eklenmesine izin veriyordu. --ignore-user-config yalnız config.toml için; bu keşfi kapatmıyor. İlk üç 32K Codex yanıtını sonuçlarından bağımsız ayırdım. Nihai kol temiz /tmp dizininde, project_doc_max_bytes=0 ve fallback[] ile baştan alındı. Global AGENTS/override dosyası bulunmadı. Ortak görev, değerlendirici, model ve medium ayarı değişmedi; eski çağrıların süre ve tokenları ayrı tutuldu. Resmî kaynaklar: AGENTS yönergeleri ve ayar başvurusu.
Ekranda yeni başlığı görmek, düzenlemenin çalıştığını göstermedi
Coder-Next teslimlerinden birinde Düzenle'ye bastıktan sonra formu doldurup kaydettim. Yeni başlık listede göründüğü için ilk kontrol bunu başarılı sanabildi. Fakat asıl görev hâlâ duruyordu: arayüz, düzenleme isteği hata verdiğinde düzenleme durumuna geçmemiş; sonraki Kaydet yeni kayıt oluşturmuştu.
Görünür Düzenle düğmesini özgün satırda yeniden denedim; Not found mesajını gördüm. Demo SQLite verisi de iki farklı kaydı doğruladı. Düzenleme başarısını geri aldım. Başarılı sayılan diğer teslimlerde özgün başlığın artık bulunmadığını ayrıca kontrol ettim. Ürün kodu değişmedi, modele yeni onarım hakkı verilmedi. Bu kontrol düzeltmesi BROWSER-REVIEW-AMENDMENT.json içinde.
API testleri arayüzdeki HTML açığını görmedi
GPT-OSS'in bir teslimi dışarıdan uyguladığım 40 kontrolü geçti. Görev başlığı ise tarayıcıda innerHTML üzerinden işlendiği için saklanan HTML çalışabiliyordu. Dışarıya istek göndermeyen, yalnız kendi DOM öğesine data-probe=36 yazan işaretleyiciyle bunu doğruladım. Aynı teslim sayfa yenilendiğinde giriş ekranını da geri getiriyordu.
Bu iki gözlem ana puanı sonradan değiştirmiyor: 40/40, o sabit kontrol kümesinin sonucu. Tarayıcı kontrolü ayrı sonuç sütunu. Çalışmanın asıl konusu da bu fark; test kapsamını genişletmeden tam puanı sorunsuz ürün gibi sunmak yanıltıcı olurdu.
Viewport ölçüsü ile ekran görüntüsü aynı şeyi göstermeyebiliyor
Bazı ilk mobil görüntüler 390 pikselde yeniden yerleşmiş sayfa yerine masaüstü görüntüsünün küçük bir kopyasıydı. Bunları mobil kanıt saymadım. Iframe seçeneğini de denedim; uygulamanın güvenlik başlığı çerçevelemeyi engelliyordu. Başlığı kaldırmadım.
Daha sonra her uygulamayı yeni seçili sekmede açtım, 390×844 CSS viewport uyguladım ve giriş sonrasındaki durum kontrolü ile ekran görüntüsünü ayrı adımlara ayırdım. DOM genişliği ve ekranın en/boy oranını birlikte doğruladım. Önceden responsive geçen sekiz teslimi bu yöntemle yeniden kontrol ettim; hepsi dar yerleşimde geçti. Önkoşulda engellenenler engellenmiş kaldı. Eski görüntüler ayrı, yeni yöntem BROWSER-VIEWPORT-AMENDMENT.json içinde. Bu gerçek telefon veya farklı tarayıcı testi değil.
Panelin açılması, oturumun kurulduğunu kanıtlamadı
Coder-Next’in üçüncü tekrarında doğru giriş sonrası panel görünüyordu. Ancak görev kaydı Unauthorized döndü. Kaynak kodunda Set-Cookie başlığı, JSON yanıtı başlıkları kapatılıp gövdesi yazıldıktan sonra ekleniyordu. Dış login_cookie testi de başarısızdı. Görünürdeki giriş geçişini geri aldım; API ve gerçek kullanım bulgularını birlikte okudum. CODER-COOKIE-EXAMPLE.json, değişmeyen kaynak SHA’sı ve ilgili satırları saklıyor.
Hazırlık ve hariç tutulan Codex kolunda toplam 7 tamamlanmış çağrı için 795,1 saniye kaydı var; çağrı bazında tokenlar EXCLUDED-CALLS.json içinde. Ayrıca son kullanım bilgisi alınmadan iptal edilen bir yarım çağrı var. Bu rakamlar ana karşılaştırmaya eklenmedi ve bütün projenin AI kullanımını temsil etmiyor.
Sunucu açıkken ana HTML yoktu
Devstral’ın ikinci tekrarının son teslimi 31/40 aldı, health yanıtı verdi. Ana sayfa ise veri çalışma dizinindeki index.html dosyasını aradığı için 404 dönüyordu. Görev metni dosyanın app.py yanından okunmasını istiyordu. Chrome bu yanıtta ERR_BLOCKED_BY_CLIENT gösterdi; korumayı kaldırmadım. Bağımsız localhost okuması 404, application/json ve Not Found gövdesini, kaynak kodu da göreli dosya açılışını doğruladı. Tarayıcıdaki dokuz akış bu kök önkoşulda engellenmiş olarak kaydedildi. Ana ölçüm kodu veya başlatma dizini değiştirilmedi.