tüm testler
Benchmark · · 9 dk okuma ·

Yapay zekâya kibar sorunca cevap uzuyor mu?

Yerel Qwen’e 50 gerçek Türkçe soruyu beş üslupla 750 kez sordum: kibarlık cevabı uzatmıyor, “Kısa cevap ver.” %93 kısaltıyor, teşekkür 834 token.

Kullanılan teknolojiler ve ortam

Model ve sunucu

  • Qwen3.8-27B NVFP4 · vLLM 0.30.0 · düşünme kapalı
  • 2× RTX 5090 (TP2) · 16.384 token bağlam
  • Sıcaklık 0,7 · tohum 1/2/3 · en çok 4.096 token cevap

Veri ve ölçüm

  • Aya veri seti · gönüllülerin yazdığı 50 Türkçe soru
  • 5 üslup × 3 tekrar = 750 cevap + 50 “Teşekkürler!” turu
  • Token sayısı sunucunun usage alanından

Soru: Yapay zekâya “Merhaba, kolay gelsin… şimdiden teşekkür ederim” diye kibar sorunca cevap uzuyor mu, fatura kabarıyor mu? Kısa cevap: Hayır. Kibarlık soruma 38 token ekledi ama cevabın uzunluğu aynı kaldı (düz sorunun ×0,98 katı). Asıl farkı sorunun sonuna eklediğim iki kelime yaptı: “Kısa cevap ver.” cevabı %93 kısalttı. Sadece “Cevapla.” demek bile %33 kısalttı.

Bu sorunun bir hikâyesi var: Nisan 2025’te X’te biri OpenAI’ın insanların “lütfen” ve “teşekkürler” demesi yüzünden ne kadar elektrik parası kaybettiğini sordu; Sam Altman da “on milyonlarca dolar, iyi harcanmış para” diye şaka yollu cevap verdi. Bu bir ölçüm değildi. Ben de kendi bilgisayarımdaki modelde Türkçe sorularla gerçekten ölçmek istedim: kibarlık neyi değiştiriyor, neyi değiştirmiyor?

Beş üslupta cevabın ortanca token uzunluğu

Nasıl ölçtüm

Soruları kendim yazmadım. Cohere’in açık Aya veri setinde gönüllülerin yazdığı Türkçe sorular var (“Arpa maltı alkol mü?”, “82 inç kaç cm?”, “Kediler kızgınlık döneminde ne yapar?” gibi, arama kutusuna yazılan türden). Tek satırlık, soru işaretiyle biten, yıl geçmeyen 2.794 sorudan sabit tohumla rastgele 50 tane seçtim.

Her soruyu beş farklı üslupla sordum. Ekler sabit; soruyu model yeniden yazmadı, ben şablona koydum:

ÜslupModele giden metin
Düz soru{soru}
KibarMerhaba, kolay gelsin. Size bir şey sormak istiyorum: {soru} Yardımcı olursanız çok sevinirim, şimdiden teşekkür ederim.
“Cevapla.”{soru} Cevapla.
Sabırsız{soru} Hadi çabuk söyle, bekletme beni.
“Kısa cevap ver.”{soru} Kısa cevap ver.

Model, masaüstündeki iki RTX 5090’da çalışan Qwen3.8-27B. Her soru × üslup üç kez soruldu (tohum 1, 2, 3; aynı tohum beş üslupta da aynı). Sıcaklık 0,7, düşünme modu kapalı, cevap sınırı 4.096 token; hiçbir cevap bu sınıra takılmadı. Toplam 750 cevap + 50 “teşekkür” turu. Token sayıları sunucunun her cevapta kendi bildirdiği usage değerlerinden; metni ben saymadım.

Sonuç: kibarlık cevabı uzatmıyor

Düz sorunun ortanca cevabı 660 token, kibar sorunun 656. Toplamda kibar cevaplar düzün ×0,98 katı. 50 sorudan 23 tanesinde kibar cevap biraz daha uzun, 27 tanesinde biraz daha kısa çıktı; belirgin bir yön yok.

Değişen, sorunun sonundaki “talimat”. “Cevapla.” tek kelime ama ortancayı 318 tokene indirdi ve 50 sorunun hepsinde cevabı kısalttı. “Hadi çabuk söyle, bekletme beni.” 186 tokene, “Kısa cevap ver.” 34 tokene indirdi.

Faturaya yalnız cevap değil, gönderdiğim metin de girer. Kibar ekler girdiyi uzatıyor; ama sorular kısa olduğu için toplamdaki etkisi küçük:

Soru başına girdi ve çıktı token ortalaması

Soru başına ortalama: düz 24 + 728 = 752 token, kibar 61 + 713 = 775 token (×1,03). “Kısa cevap ver.” ile 29 + 50 = 78 token; toplam faturanın onda biri (×0,10).

Kibarlığın girdideki bedeli

Kibar eklerin Qwen tokenizer ile parçaları

Nezaket cümlelerim Qwen’in tokenizer’ında tek başına 39 token. Sunucunun saydığı fark 38 token (soruyla birleşince bir parça kaynaşıyor). Türkçe kelimeler “Mer·hab·a”, “g·els·in” gibi parçalara bölünüyor; aynı tokenizer’da İngilizce “ please” tek token, Türkçe “ lütfen” dört token (“ l·ü·tf·en”); Türkçe nezaket daha çok parça tutuyor. Yine de bu, ortalama 700 küsur tokenlık bir cevabın yanında küçük bir ek.

Her soru ayrı ayrı

Soru başına düz soruya göre cevap uzunluğu oranı

Her nokta bir soru. Kibar noktalar 1 çizgisinin iki yanına dağılıyor (ortanca 0,99). “Cevapla.” bütün soruları sola, yani kısaya itiyor (ortanca 0,59); sabırsız üslup daha da sola (0,31). “Kısa cevap ver.” ise cevabı ortalama yirmide bire indiriyor (0,05).

Beş üslupta cevap uzunluğu dağılımı

Dağılımda da aynı şey görünüyor: düz (gri) ve kibar (yeşil) eğriler neredeyse üst üste. “Cevapla.” ve sabırsız eğriler sola kayıyor ama hâlâ yüzlerce tokenlık cevaplar var. “Kısa cevap ver.” bambaşka bir yerde; çoğu cevap bir iki cümle.

Bu fark gürültü mü?

Tekrar farkı ile üslup farkının karşılaştırması

Model aynı soruya her seferinde biraz farklı yazıyor. Aynı düz soruyu farklı tohumla iki kez sorunca iki cevabın uzunluğu tipik olarak ×1,21 farklı. Kibar ve düz cevap arasındaki tipik fark ×1,19; yani kibarlığın etkisi, soruyu yeniden sormanın yarattığı farktan ayırt edilemiyor. “Cevapla.” ×1,72, sabırsız ×3,41, “Kısa cevap ver.” ×19,65 fark yaratıyor; bunlar gerçek etki.

Uzunluk değil, ton değişiyor

Cevaplarda selamlaşma, kapanış teklifi, hitap ve emoji oranları

Kibarlık boşa gitmiyor ama başka yere gidiyor: model nezaketi nezaketle karşılıyor. Kibar sorulara gelen cevapların %77’si benim cümlemle, “Merhaba, kolay gelsin.” diye açıldı (bir yapay zekânın bana kolay gelsin demesi biraz komik). %78’i “Başka bir sorunuz varsa…”, “Kolay gelsin!”, “İyi günler dilerim!” gibi bir kapanış cümlesiyle bitti; düz sorularda bu %0. “Siz” diye hitap eden cevapların oranı düz soruda %27 iken kibar soruda %67 oldu; emoji kullanan cevaplar %21 iken %44 oldu.

Sabırsız sorunca da tersi oluyor: model daha sık “sen” diye konuşmaya başladı (%1 yerine %13), selamla açılış ya da “başka sorunuz…” kapanışı neredeyse hiç yok (kapanış cümlesi %1). Bu oranları basit kelime kalıplarıyla saydım (“Merhaba, kolay gelsin” ile başlıyor mu, son 300 karakterde “başka sorunuz” var mı, fiil sonu -siniz/-sin gibi); kesin dil analizi değil ama farkın yönü çok net.

Cevap başına ortalama başlık ve madde sayısı

Biçim de sadeleşiyor. Düz soruya gelen ortalama cevapta 4,0 başlık ve 13,1 madde var; kibar soruda 3,7 başlık, 11,6 madde. “Cevapla.” ile 2,2 başlık ve 8,2 madde, “Kısa cevap ver.” ile 0,0 başlık ve 0,3 madde kalıyor. Yani model “Cevapla.” emrini “rapor yazma, doğrudan söyle” diye okuyor gibi; bu benim yorumum, modelin içini ölçmedim.

Gerçek bir örnek: “Arpa maltı alkol mü?”

Aynı soru, aynı tohum (1), beş üslup. Token sayıları sunucudan; cevapların başı aşağıda, tam hâlleri açılır bölümde. Hiçbir cevabı düzeltmedim.

ÜslupGirdi tokenCevap tokenCevabın ilk satırı
Düz soru20222Arpa maltı (malt) tek başına **alkol değildir**.
Kibar58666Merhaba, kolay gelsin. Sorunuz için teşekkür ederim.
“Cevapla.”25218Hayır, arpa maltı alkol değildir.
Sabırsız31234Hayır, arpa maltı alkol değildir.
“Kısa cevap ver.”2528Hayır, arpa maltı alkol değildir; ancak alkollü içeceklerin üretiminde kullanılan temel bir hammaddedir.

Bu soruda kibar cevap düzün üç katı çıktı; madde madde “Arpa maltı nedir? Alkol nasıl oluşur?” diye bir ders anlattı. Ama bir soruda olan genele yayılmıyor: yukarıdaki grafiklerde gördüğünüz gibi 50 sorunun toplamında kibar ve düz eşit. Tek bir sohbete bakıp “kibar sorunca uzatıyor” demek bu yüzden yanıltıcı olurdu.

Bu sorunun beş tam istemi ve tam cevabı

Düz soru · 222 token

İstem:

Arpa maltı alkol mü?

Cevap:

Arpa maltı (malt) tek başına **alkol değildir**.

Arpa maltı, arpaların nemlendirilip çimlendirilmesi (filizlenmesi) ve ardından kurutulmasıyla elde edilen bir **bitkisel üründür**. İçeriğinde alkol bulunmaz.

Ancak, arpa maltı **bira, viski, rakı ve bazı diğer alkollü içeceklerin üretiminde temel hammaddelerden biri** olarak kullanılır. Bu içeceklerin yapımında malt, mayalanma sürecinde şekerlerini alkol ve karbondioksite dönüştürür. Yani:

*   **Malt:** Alkol içermeyen, besin değeri yüksek bir tahıl ürünüdür.
*   **Malttan üretilen içecekler (bira, rakı vb.):** Alkol içerir.

**Özetle:**  
Arpa maltı alkol değildir, ancak alkollü içeceklerin yapımında kullanılan önemli bir bileşendir.

Kibar · 666 token

İstem:

Merhaba, kolay gelsin. Size bir şey sormak istiyorum: Arpa maltı alkol mü? Yardımcı olursanız çok sevinirim, şimdiden teşekkür ederim.

Cevap:

Merhaba, kolay gelsin. Sorunuz için teşekkür ederim.

**Arpa maltı (malt) doğrudan alkol değildir.** Ancak alkol üretiminde (özellikle bira ve bazı rakılar) temel hammadde olarak kullanılır.

İşte detaylı açıklama:

### 1. Arpa Maltı Nedir?
Arpa maltı, çimlendirilmiş ve kurutulmuş arpa taneleridir. İçinde:
- **Nişasta** (şekerin öncüsü)
- **Proteinler**
- **Enzimler** (özellikle amilaz)
- **B vitamini, mineral ve antioksidanlar** bulunur.

### 2. Alkol Nasıl Oluşur?
Alkol (etanol), **fermantasyon** adı verilen biyokimyasal süreçte oluşur. Bu süreçte:
1. Malt içindeki nişastalar, enzimler sayesinde **şekere** dönüşür.
2. Şekerler, **mayalar** (özellikle *Saccharomyces cerevisiae*) tarafından parçalanır.
3. Bu parçalanma sonucunda **etanol (alkol)** ve **karbondioksit** açığa çıkar.

> **Kısacası:** Malt, alkolün "ham maddesidir", ama kendisi alkol değildir. Mayalanma olmadan sadece malt suyu içerseniz, alkol almazsınız; sadece tatlımsı, besleyici bir içecek (malt özü) elde edersiniz.

### 3. Peki, "Malt" İçeren İçeceklerde Alkol Var mı?
Bu, ürünün türüne göre değişir:

- **Alkolsüz Malt İçecekleri (Malt Özü):**  
  Sadece malt, su ve bazen şeker içerir. **Alkol içermez.** Genellikle alkolsüz bira benzeri içecekler olarak satılır.

- **Alkollü Malt İçecekleri (Bira, Rakı vb.):**  
  Malt + su + maya + (bazen başka tahıllar) → **Fermentasyon** → **Alkol içerir.**  
  Bira genellikle %4–8 alkol, rakı ise %40–50 alkol içerir.

### Sonuç:
- **Ham arpa maltı:** Alkol içermez.
- **Malt özü (alkolsüz):** Alkol içermez.
- **Malttan üretilmiş bira/rakı:** Alkol içerir.

Eğer bir içeceğin etiketinde "alkolsüz malt" veya "malt özü" yazıyorsa, alkol içermez. "Bira" veya "rakı" yazıyorsa, alkol içerir.

Umarım bu açıklama sorunuza yanıt olmuştur. Başka bir sorunuz varsa yardımcı olmaktan memnuniyet duyarım.

“Cevapla.” · 218 token

İstem:

Arpa maltı alkol mü? Cevapla.

Cevap:

Hayır, arpa maltı alkol değildir.

Arpa maltı, arpanın filizlenmesi ve ardından kurutulmasıyla elde edilen bir **bitkisel üründür**. İçinde doğal olarak alkol bulunmaz. Ancak, bira, rakı, viski gibi alkollü içeceklerin üretiminde **hammadde** olarak kullanılır. Bu süreçte malttaki şekerler mayalanarak alkole dönüşür.

Kısacası:
*   **Arpa maltı:** Alkolsüz, bitkisel bir gıda maddesidir.
*   **Malt içeren içecekler:** Alkol oranı düşük veya sıfır olabilir (alkolsüz bira), ancak üretim sürecinde alkol oluşumu söz konusudur.

Not: Bazı ülkelerde "malt" adı altında satılan içecekler alkol oranı çok düşük (genellikle %0.5'in altında) veya alkolsüz olabilir, ancak arpa maltının kendisi alkol değildir.

Sabırsız · 234 token

İstem:

Arpa maltı alkol mü? Hadi çabuk söyle, bekletme beni.

Cevap:

Hayır, arpa maltı alkol değildir.

Arpa maltı, **tahıl (bitki) ürünüdür** ve alkol içermeyen bir gıdadır. İçinde doğal olarak şeker, protein, vitamin ve mineraller bulunur.

**Neden karıştırılıyor?**
Arpa maltı, **bira, viski, rakı** gibi alkollü içkilerin üretiminde kullanılan temel hammaddedir. Bu yüzden "alkol" ile özdeşleştirilir. Ancak kendisi bir **alkol kaynağı (hammaddesi)**dir, alkol değildir.

**Kısaca:**
*   **Arpa Maltı:** Alkolsüz, besleyici, tatlımsı bir tahıl ürünüdür.
*   **Alkol:** Arpa maltının fermantasyon (mayalanma) işleminden geçmesiyle ortaya çıkan maddedir.

Yani saf arpa maltı içerseniz alkol almazsınız; ama ondan yapılan bira/viski içerseniz alkol alırsınız.

“Kısa cevap ver.” · 28 token

İstem:

Arpa maltı alkol mü? Kısa cevap ver.

Cevap:

Hayır, arpa maltı alkol değildir; ancak alkollü içeceklerin üretiminde kullanılan temel bir hammaddedir.

Kestirme deneme: sonra bir de “Teşekkürler!” yazınca

Altman’ın şakasındaki asıl masraf belki de soruyu kibar sormak değil, cevaptan sonra “teşekkürler” demek. Bunu da denedim: her sorunun düz cevabından sonra ikinci mesaj olarak yalnız “Teşekkürler!” yazdım (50 sohbet).

İlk soru ile teşekkür turunun token karşılaştırması

Sohbet modelleri önceki konuşmayı hatırlamaz; her mesajda bütün geçmiş yeniden gönderilir. Bu yüzden tek kelimelik teşekkür, ortalama 783 tokenlık bir girdi oldu; model de 51 tokenlık bir “rica ederim” yazdı. Toplam 834 token: ilk soru-cevabın kendisinden (765) bile fazla, 50 sohbetin hepsinde böyle. Cevapların %100’ü “Rica ederim!” ile açıldı, hepsi bir kapanış cümlesiyle (“başka sorunuz olursa…”, “iyi günler”) bitti. “Arpa maltı” sohbetindeki gerçek cevap:

Rica ederim! Başka bir sorunuz olursa veya farklı bir konuda yardım isterseniz, çekinmeden sorabilirsiniz. İyi günler dilerim!

Bir not: birçok servis aynı geçmiş tekrar geldiğinde onu önbellekten daha ucuza hesaplıyor; benim yerel sunucumda da önbellek açık. Yani teşekkürün gerçek maliyeti token sayısı kadar büyük olmayabilir. Ama sayaçta gördüğüm rakam bu.

Günlük kullanımda ne demek?

Dört günlük kullanım kartı

Kibar yazmak isteyen rahatça yazabilir; cevabın uzunluğunu ve faturayı fark edilir değiştirmiyor, sadece cevabın tonu sıcaklaşıyor. Kısa bilgi istiyorsam “Kısa cevap ver.” yazmak, okumam gereken metni ortanca 258 kelimeden 14 kelimeye indiriyor. Bekleme de kısalıyor: bu ölçümde ortanca cevap süresi 7,0 sn yerine 0,5 sn oldu (dört istek aynı anda çalışırken; kesin hız ölçümü değil).

Benim için sonuç

Kibarlığı bırakmayacağım; ölçtüğüm kadarıyla bedeli küçük. Değiştireceğim şey, kısa bilgi istediğimde sonuna “Kısa cevap ver.” eklemek ve cevabı aldıktan sonra uzun bir sohbetin sonuna ayrıca teşekkür mesajı atmamak; teşekkürü bir sonraki sorunun başına eklemek, ölçtüğüm iki sayıya göre (+38 token ile 834 token) aynı nezaketi çok daha ucuza veriyor. Uzun ve ayrıntılı cevap istediğimde ise düz sormak yeterli: model zaten uzun yazmaya meyilli.

Sınırlar

  • Tek model (Qwen3.8-27B), düşünme modu kapalı. Başka modeller kibarlığa farklı tepki verebilir; düşünen modellerde gizli düşünme tokenleri de faturaya girer.
  • Cevapların doğruluğunu puanlamadım. “Kısa cevap ver.” cevabı kısaltıyor ama her kısa cevabın yeterli olup olmadığını ölçmedim.
  • Ton oranları (selam, kapanış, sen/siz, emoji) basit kelime kalıbı sayımı.
  • Sorular kısa, arama kutusu tipi sorular. Uzun belge veren isteklerde kibar eklerin girdideki payı daha da küçülür.
  • İstekler dört eşzamanlı gönderildi; süreler kabaca bilgi amaçlı. Para birimiyle maliyet hesaplamadım, çünkü fiyat servise ve önbelleğe göre değişiyor.
Tam tablo ve yöntem
ÜslupCevap token (ortanca)Cevap token (ort.)Toplam cevap / düzEşli oran (ortanca)Girdi token (ort.)Girdi+cevap / düzUzun/kısa soru sayısıKelime (ortanca)Süre sn (ortanca)
Düz soru660728×1,001,0023,6×1,000/02587,0
Kibar656713×0,981,0161,3×1,0323/272617,1
“Cevapla.”318488×0,670,5928,6×0,690/501263,7
Sabırsız186241×0,330,2834,6×0,371/49742,3
“Kısa cevap ver.”3450×0,070,0528,6×0,100/50140,5

Eşli oran: aynı soru ve aynı tohumla düz cevaba bölünmüş uzunluk. Uzun/kısa: 3 tekrar ortalaması düzden uzun/kısa olan soru sayısı. Tipik fark: aynı soru-tohum çiftlerinde |ln(a/b)| ortancası (tekrar için düz tohum çiftleri 1–2, 1–3, 2–3 ortalaması). Ölçüm sırasında sunucuda benim dört isteğim dışında yük görülmedi (her istekten önce /metrics okundu).

Kaynaklar ve sürümler: Qwen3.8-27B NVFP4 (nvidia, Hugging Face revizyonu 482ca0f3832238542f8f5295dde86b5f22711d80) · vLLM 0.30.0 · TP2, 2× RTX 5090 (450 W sınırı) · 16.384 token bağlam, prefix cache açık, düşünme kapalı (sunucu varsayılanı) · istek: temperature 0,7, top_p 0,8, seed 1/2/3, max_tokens 4.096, 4 eşzamanlı · Aya veri seti (CohereLabs/aya_dataset, Apache-2.0, revizyon f9ea04583f02a8f86404ff6c58bf75fe637df8a2, train parquet SHA256 51baa85043b569ba117f41516b32d1b0e4e2647fb203a08933f98a556fb1fb06), language = Turkish, original-annotations · tokenizer sayımı: Qwen3.8 tokenizer.json, tokenizers 0.23.3.

İndir: betikler, 800 isteğin tam istem ve cevapları (ZIP) · özet (JSON) · istek başına sonuçlar (CSV) · run.py

Kullanılan 50 soru
  1. B sınıfı ehliyet A1 kullanabilir mi?
  2. En değerli pırlanta kaç karat?
  3. İnsanlık tarihindeki büyük keşifler ve bu keşiflerin toplumsal, ekonomik ve kültürel etkileri nelerdir?
  4. Bebek emdikten kaç dakika sonra gaz çıkarılır?
  5. Parlak MDF ye ne denir?
  6. Laz Ziya eşi kim?
  7. Spiralin koruyuculuğu ne zaman başlar?
  8. Arpa maltı alkol mü?
  9. 10 Temmuz Kim doğdu?
  10. Kış stajı kaç ay?
  11. Trendyol da ürün satmak için ne yapmak lazım?
  12. Kara çarşaf dinimizde var mı?
  13. Istanbul Alibeyköy hangi semtte?
  14. Kabenin anahtarı şu an kimde?
  15. Dişe vurulan morfinin etkisi ne kadar sürer?
  16. iPhone XR ile 11 aynı mı?
  17. Vücuttaki iltihap nasıl yok edilir?
  18. Gece nasıl daha iyi fotoğraf çekilir?
  19. Propolis Ne İşe Yarar, Neye İyi Gelir?
  20. Şahislar e-fatura mükellefi olabilir mi?
  21. Ketojenik diyet ödem atar mı?
  22. Aile konutu olduğu nasıl ispat edilir?
  23. Efali mükellefin ne anlama gelir?
  24. Keçi sütü nasıl kokar?
  25. Prenses anlamına gelen isim nedir?
  26. Yatay geçiş yaptıktan sonra gitmek zorunlu mu?
  27. Dünyanın en iyi 4 futbolcusu kim?
  28. Postaneye gitmeden e-Devlet şifresi nasıl alınır?
  29. Barış çiçeği ne zaman ayrılır?
  30. Kuantum fiziği nedir?
  31. Londra Zone 1 neresi?
  32. Hayvanlara aspirin verilir mi?
  33. Ecrin ismi dinen uygun mu?
  34. Satürn gözle görülür mü?
  35. Kutup yıldızı hangi ülkede görülür?
  36. Meryem Ana Hz İsa'yı nerede doğurdu?
  37. Ihlara Vadisi Yürüyüş parkuru kaç km?
  38. Gözlemsel öğrenme nedir?
  39. Alüminyum kalitesi nasıl anlaşılır?
  40. KDV tevkifatı Kimden Kesilir?
  41. Keçi sütü ile inek sütü arasında ne fark var?
  42. Bireyin topluma uyum sağlamasında görev yüklenmiş toplumsal kurum nedir?
  43. Mavi şampuan saça ne yapar?
  44. Idarenin kusursuz sorumlulukları nelerdir?
  45. Havuza iç çamaşırı ile girilir mi?
  46. TÜPRAŞ neyin kısaltması?
  47. Oğuz Atay'ın çocukluğu nasıldır?
  48. Kediler kızgınlık döneminde ne yapar?
  49. Okullar arası nakil işlemi nasıl yapılır?
  50. Jüpiter'i nasıl görürüz?
ölçüm → not → yeniden denemediğer test