tüm testler
Benchmark · · 9 dk okuma ·

Kendi Türkçe tokenizer’ımı eğittim: GPT-4o’dan yüzde 27 az token

Türkçe Wikipedia’dan 100 milyon karakterle 9 saniyede bir BPE sözlüğü eğittim: GPT-4o’dan yüzde 27 az token. Sözlük büyüklüğü, metin miktarı ve İngilizcenin bedeli.

Kullanılan teknolojiler ve ortam

Eğitim

  • Hugging Face tokenizers 0.23.3 · bayt düzeyinde BPE
  • Wikipedia 20231101 · Türkçe 1M–300M, İngilizce 100M karakter
  • 14 eğitim · 8k–256k sözlük · Threadripper PRO 5955WX · GPU yok

Ölçüm

  • FLORES-200 · 2009 paralel cümle · Türkçe ve İngilizce
  • Karşılaştırma: GPT-4o (o200k) · Qwen3.8 · Llama 4 · Kumru · YTÜ GPT-2
  • Kayıpsız geri çevirme 4018/4018 · eğitim üç kez bayt bayt aynı

Bir önceki yazıda aynı metnin Türkçe hâlinin çoğu modelde daha fazla token tuttuğunu ölçmüştüm; GPT-4o ailesinde fark 1,43 kattı. Türkçe için eğitilmiş modellerde ise tablo tersine dönüyordu. Bunun üzerine sözlüğü kendim kurmak istedim: Türkçe metinle bir tokenizer eğittim ve aynı test cümleleriyle ölçtüm.

Kısa cevap: Türkçe Wikipedia’dan aldığım 100 milyon karakterlik metinle 32 bin parçalık bir sözlüğü 8,7 saniyede eğittim, GPU kullanmadan. Aynı 2009 Türkçe cümleyi GPT-4o ailesinin tokenizer’ı 74.715 tokenda yazarken benimki 54.625 tokenda yazdı; yani yüzde 27 daha az. Bedeli İngilizcede çıktı: aynı tokenizer İngilizce metni yüzde 65 daha fazla tokenla yazıyor.

Tokenizer ne, nasıl eğitiliyor

Model metni harf ya da kelime olarak değil, sözlüğündeki parçalarla, yani tokenlarla okuyor. Bu sözlük modelden önce, ayrı bir adımda kuruluyor. En yaygın yöntem BPE (byte pair encoding): metin önce baytlara ayrılıyor, sonra en sık yan yana gelen iki parça birleştirilip sözlüğe ekleniyor. Bu işlem sözlük istenen büyüklüğe ulaşana kadar tekrarlanıyor. Ortada sinir ağı yok, sadece sayma ve birleştirme var; bu yüzden GPU gerekmiyor.

Sözlük bir kez kurulduktan sonra model onunla eğitiliyor ve sonradan değiştirilemiyor. Bir modelin Türkçede kaç token harcayacağı, daha eğitimin ilk gününde verilen bu kararla belli oluyor.

Nasıl ölçtüm

Eğitim metni: Wikipedia’nın 1 Kasım 2023 dökümü (Hugging Face’te wikimedia/wikipedia). Türkçe dökümün ilk dosyasındaki 246.288 makaleyi sabit bir tohumla karıştırdım, 200 karakterden kısa olanları attım ve karakter bütçesi dolana kadar baştan makale aldım. Böylece 1, 3, 10, 30, 100 ve 300 milyon karakterlik altı Türkçe metin çıktı. Karşılaştırma için 100 milyon karakter İngilizce ve 50+50 milyon karakterlik karışık bir metin de hazırladım.

Test metni: Önceki yazıdaki FLORES-200 seti; profesyonel çevirmenlerin hazırladığı 2009 paralel Türkçe ve İngilizce cümle. Test cümleleri eğitim metninde geçiyorsa sonuç şişer. Bu yüzden 2009 Türkçe cümlenin her birini 300 milyon karakterlik eğitim metninde aradım; birebir geçen cümle sayısı 0.

Eğitim: Hugging Face tokenizers kütüphanesiyle GPT-2 ve GPT-4o’nun da kullandığı türden bayt düzeyinde BPE. Toplam 14 eğitim yaptım: aynı 100 milyon karakterle 8 binden 256 bine altı sözlük büyüklüğü, 32 binlik sözlükle altı farklı metin miktarı, bir de İngilizce ve karışık metinle üç eğitim. Hepsi Threadripper PRO 5955WX işlemcide çalıştı.

Kontroller: Karşılaştırdığım beş hazır tokenizer’ı yeniden saydım, önceki yazıdaki sayılarla birebir aynı çıktı. Ölçülen her tokenizer 4018 cümlenin hepsini harfi harfine geri çevirebildi, yani hiçbir harf kaybolmadı. 32 binlik eğitimi aynı ayarlarla üç kez çalıştırdım; üç sözlük dosyası bayt bayt aynı çıktı.

Sonuç: 32 binlik sözlük yetiyor

FLORES Türkçe toplam token: Qwen3.8 76.572, GPT-4o ailesi 74.715, Llama 4 69.128, benim 8k 68.622, benim 32k 54.625, Kumru 53.991, YTÜ GPT-2 51.702, benim 256k 45.119

En küçük sözlük bile şaşırttı: yalnız 8 bin parçalık tokenizer’ım Türkçe metni 68.622 tokenda yazdı. Bu, sözlüğü 24 kat büyük olan GPT-4o ailesinden yüzde 8 daha az. 32 binlik sözlük (54.625) VNGRS’in Türkçe modeli Kumru’yla (53.991) neredeyse aynı yere geldi; Kumru’nun sözlüğü 50 bin parça. 256 bine çıkınca 45.119 token oldu; bu da YTÜ’nün Türkçe GPT-2’sinden (önceki ölçümde Türkçeyi en az tokenla yazan, 51.702) yüzde 13 daha az.

Bunu “benim tokenizer’ım GPT-4o’dan iyi” diye okumamak gerekiyor. GPT-4o’nun sözlüğü onlarca dili ve kodu birlikte taşıyor; benimki yalnız Türkçe Wikipedia gördü. Ölçülen şey, sözlükte Türkçeye ne kadar yer ayrıldığı.

Tek bir cümlede fark şöyle görünüyor. FLORES’in ilk Türkçe cümlesinin ilk yarısını GPT-4o ailesi 43, benim 32 binlik sözlüğüm 29, 256 binlik sözlüğüm 25 parçaya bölüyor. “Fakültesi”, “hücreleri”, “bulunduğunu”, “kullanılarak” gibi kelimeler benim sözlükte tek parça.

Aynı cümle GPT-4o ailesinde 43, benim 32k sözlükte 29, 256k sözlükte 25 token

Kelime kelime bakınca “kitaplarımızdaki” GPT-4o ailesinde kit-ap-larımız-daki diye dört parça, benimkinde kitap-larımız-daki diye üç parça. Kelime başına ortalamada GPT-4o ailesi Türkçede 2,18, benim 32 binlik sözlüğüm 1,59 token kullanıyor. İngilizce kelimelerde ise tersi oluyor: “computer” GPT-4o ailesinde tek parça, benimkinde üç.

yapabileceklerimizden, gözlükçülerden, kitaplarımızdaki, Çekoslovakyalılaştıramadıklarımızdan, teşekkür ederim ve computer kelimelerinin GPT-4o ailesinde ve benim 32k tokenizer’ımda parçalanışı

Sözlüğü büyütmek ne kadar kazandırıyor

Aynı 100 milyon karakterle sözlüğü her seferinde iki katına çıkararak altı eğitim yaptım. Her ikiye katlamada kazanç biraz daha küçülüyor: sırasıyla yüzde 11,5, 10,1, 8,0, 6,1 ve 4,4. 8 binden 256 bine, yani 32 kat büyük sözlükle Türkçe token sayısı yüzde 34 azaldı.

Sözlük 8k’dan 256k’ya: Türkçe token 68.622, 60.755, 54.625, 50.246, 47.178, 45.119; her ikiye katlamada kazanç %11,5, %10,1, %8,0, %6,1, %4,4

Büyük sözlüğün bir bedeli de var. Modelin girişinde her token için bir satırlık bir tablo bulunuyor (embedding tablosu). Bu tablonun büyüklüğü sözlük büyüklüğü çarpı modelin iç boyutu kadar. Burada ölçüm değil, basit bir hesap yaptım: iç boyutu 512 olan küçük bir model için 8 binlik sözlüğün tablosu 4,2 milyon, 256 binliğin tablosu 134,2 milyon parametre ediyor. 30 milyon parametrelik küçük bir model hedeflesem, 64 binlik sözlüğün tablosu (33,6 milyon) tek başına bu bütçeyi aşardı. Yüz milyarlarca parametrelik büyük modellerde bu pay küçük kalıyor; küçük modellerde ise sözlük seçimi doğrudan bütçeyi etkiliyor. Kumru ve YTÜ’nün GPT-2’si 50 bin civarında sözlük kullanıyor.

Sol: sözlük büyüdükçe Türkçe token 68,6 binden 45,1 bine iniyor. Sağ: 512 boyutlu modelde giriş tablosu 4,2 milyondan 134,2 milyon parametreye çıkıyor

Ne kadar metin gerekiyor

Sözlüğü 32 binde sabit tutup eğitim metnini değiştirdim. Yalnız 1 milyon karakterlik metinle bile sonuç 60.196 token; GPT-4o ailesinden yüzde 19 az. O kadar küçük metinde sözlük 32 bine ulaşamadı, 26.021 parçada durdu, çünkü daha fazla parça için yeterince tekrar yoktu. 10 milyon karakterde 55.406, 100 milyonda 54.625, 300 milyonda 54.539. 100 milyondan 300 milyona çıkınca kazanç yüzde 0,16; bu noktadan sonra daha fazla Wikipedia neredeyse hiçbir şey değiştirmiyor.

Eğitim metni 1 milyondan 300 milyon karaktere: Türkçe token 60.196, 56.411, 55.406, 54.889, 54.625, 54.539

Eğitim süresi de hep kısa kaldı. 100 milyon karakterle 8 binlik sözlük 6,8 saniye, 256 binlik sözlük 13,5 saniye sürdü. Sözlük 32 kat büyüdü, süre iki katına çıktı. En büyük iş olan 300 milyon karakterlik eğitim 15,9 saniye sürdü ve en fazla 1,8 GB bellek kullandı.

Eğitim süresi: 8k 6,8 sn, 256k 13,5 sn; bellek yaklaşık 1 GB

Sözlük neyi öğrendi

BPE’nin hangi parçaları hangi sırayla eklediğine baktım. İlk öğrendiği şeyler ı, ü, ş, ç, ğ, ö harfleri oldu. Bunun nedeni Türkçeye özgü harflerin bilgisayarda (UTF-8) iki bayt tutması: bayt düzeyinde başlayan eğitim ilk iş olarak bu iki baytı tek parçaya birleştiriyor. Ardından “ar”, “an”, “er”, “in” gibi heceler ve “lar”, “ler”, “ve” gibi parçalar geliyor.

Eğitimin ilk 40 birleştirmesi: ı ar an er ü ş in en ·b ın il ir al ç ğ ·k lar ak ·y ·d ·s ö ol el ·v on as ay et ·g ·t es ek da un ler ·ve ik at is

32 binlik sözlüğün 10.861 parçasında (yaklaşık üçte biri) en az bir Türkçe harf var. Sözlükteki en uzun tek parçalar “gerçekleştirilmiştir”, “karşılaştırıldığında”, “karıştırılmamalıdır”, “adlandırılmaktadır”. Bunlar ansiklopedi dilinin izleri; günlük konuşmada pek kullanmadığımız ama Wikipedia’da sık geçen kalıplar.

Test cümlelerini benim sözlükle bölünce kelimelerin içinde en çok kullanılan parçalar Türkçenin ekleri çıktı: -lar 167, -ler 116, -ların 113, -ları 112 kez. Tokenizer dil bilgisi bilmiyor, sadece sayıyor; ekleri sık geçtikleri için kendiliğinden ayırmış. Ama bölme yerleri her zaman ek sınırına denk gelmiyor. “Çekoslovakyalılaştıramadıklarımızdan” benim sözlükte Çek-oslov-ak-yal-ılaştır-am-adıkları-mız-dan diye bölünüyor.

Benim 32k tokenizer’da kelime içinde en çok kullanılan parçalar: -a 220, -lar 167, -in 154, -e 150, -ın 133, -ler 116, -ların 113, -ları 112, -an 99, -un 96

İngilizceye ne oldu

Yalnız Türkçe görmüş sözlük İngilizcede zorlanıyor: aynı cümlelerin İngilizcesi 86.357 token tuttu, GPT-4o ailesinde 52.409. Tersini de denedim: aynı ayarlarla yalnız İngilizce Wikipedia’dan eğittiğim sözlük Türkçe metni 124.408 tokenda yazdı, kendi İngilizcesinin 2,29 katı. Bu, önceki yazıda en pahalı çıkan DeepSeek V3.2’den (107.194) de kötü. Sözlük hangi dili gördüyse onu ucuz yazıyor.

Peki iki dil yarı yarıya karıştırılırsa? 32 binlik karışık sözlük iki dili neredeyse eşit yazdı: Türkçe 58.647, İngilizce 57.687. 64 bine çıkınca Türkçe 53.017 token oldu, yalnız Türkçe 32 binlik sözlükten bile az. İngilizce 53.951, GPT-4o ailesinden yalnız yüzde 2,9 fazla. Yani iki dile 64 bin parça ayırınca ikisini de iyi yazan bir sözlük çıkıyor.

Türkçe/İngilizce toplam token: GPT-4o 74.715/52.409, yalnız Türkçe 32k 54.625/86.357, yalnız İngilizce 32k 124.408/54.337, karışık 32k 58.647/57.687, karışık 64k 53.017/53.951

Günlük kullanımda ne demek

FLORES’teki kelime başına token ortalamasından gidersem, 1000 kelimelik bir Türkçe metin Qwen3.8’de yaklaşık 2.232, GPT-4o ailesinde 2.178 token tutuyor. Benim 32 binlik sözlüğümde 1.593, 256 binlikte 1.315. Aynı bağlam penceresine yaklaşık üçte bir daha fazla Türkçe metin sığması demek; saniyede aynı sayıda token üreten bir modelde de cevabın daha kısa sürede yazılması demek.

1000 Türkçe kelime: Qwen3.8 2.232, GPT-4o 2.178, benim 32k 1.593, Kumru 1.574, benim karışık 64k 1.546, benim 256k 1.315 token

Burada önemli bir şart var: bu kazanç yalnız bu sözlükle eğitilmiş bir modelde işe yarıyor. Var olan bir modelin tokenizer’ını değiştirip ucuzlatamazsınız, çünkü model kendi parçalarıyla eğitildi. Sözlüğü değiştirmek, modelin en azından giriş ve çıkış katmanlarını yeniden eğitmek anlamına geliyor.

Benim için sonuç

Model eğitiminin bu ilk adımı çok ucuz: birkaç yüz MB metin, birkaç saniye işlemci zamanı ve tek bir kütüphane yetiyor. Türkçe için iyi bir sözlüğün sırrı büyüklükte değil, sözlüğün ne kadar Türkçe metinle kurulduğunda. 8 binlik bir Türkçe sözlük, 200 binlik çok dilli sözlükten daha az token harcıyor.

Asıl soru bundan sonra başlıyor: bu sözlükle küçük bir Türkçe dil modeli eğitilince token tasarrufu modelin hızına ve yazdığı metnin kalitesine nasıl yansıyor? Bunu evdeki kartlarda küçük bir model eğiterek denemek istiyorum.

Sınırlar

  • Test metni FLORES-200; Wikinews, Wikijunior ve Wikivoyage kaynaklı, haber ve ansiklopedi diline yakın. Eğitim metnim de Wikipedia olduğu için alan benzerliği benim sözlüğün lehine. Günlük konuşma, sosyal medya ya da kod gibi metinlerde fark farklı çıkabilir; bunları ölçmedim.
  • Token sayısı kalite ölçüsü değil. Daha az token, bu sözlükle eğitilecek modelin daha iyi olacağını göstermez.
  • Kumru metni farklı bir ön bölmeyle parçalıyor (bazı parçalar iki kelimeyi ve boşluğu birlikte içeriyor); bu yüzden kelime başına sayılar birebir aynı yöntemle üretilmiş sayılmamalı.
  • Giriş tablosu hesabı ölçüm değil, sözlük × 512 çarpımı. Gerçek modellerde iç boyut ve tablonun çıkışta paylaşılıp paylaşılmadığı değişir.
  • Sözlük büyüklükleri 1024’ün katları: 8k = 8.192, 32k = 32.768, 256k = 262.144 parça.
  • Claude ve Gemini tokenizer’ları açık olmadığı için karşılaştırmada yoklar.
Tam tablo ve yöntem
TokenizerTürSözlükTR tokenEN tokenTR/ENTR token/kelimeTR karakter/tokenEğitimEn yüksek RAM
GPT-4o ailesi (o200k)hazır200.01974.71552.4091,43×2,183,54––
Qwen3.8hazır248.07776.57253.6981,43×2,233,45––
Llama 4hazır201.13569.12852.7601,31×2,023,82––
Kumru (VNGRS)hazır50.17653.99184.5260,64×1,574,90––
Türkçe GPT-2 (YTÜ)hazır50.25751.70282.9610,62×1,515,11––
Türkçe 100M · 8kbenim8.19268.622106.0070,65×2,003,856,8 sn998 MB
Türkçe 100M · 16kbenim16.38460.75596.6250,63×1,774,357,5 sn1.005 MB
Türkçe 100M · 32kbenim32.76854.62586.3570,63×1,594,848,7 sn1.007 MB
Türkçe 100M · 64kbenim65.53650.24677.6130,65×1,475,2610,1 sn1.064 MB
Türkçe 100M · 128kbenim131.07247.17868.8810,68×1,385,6011,4 sn1.071 MB
Türkçe 100M · 256kbenim262.14445.11961.7150,73×1,315,8613,5 sn1.083 MB
Türkçe 1M · 32kbenim26.02160.19696.7150,62×1,754,390,9 sn96 MB
Türkçe 3M · 32kbenim32.76856.41189.1940,63×1,654,691,6 sn163 MB
Türkçe 10M · 32kbenim32.76855.40687.0030,64×1,614,772,7 sn299 MB
Türkçe 30M · 32kbenim32.76854.88985.7660,64×1,604,824,5 sn551 MB
Türkçe 300M · 32kbenim32.76854.53986.9540,63×1,594,8515,9 sn1.799 MB
İngilizce 100M · 32kbenim32.768124.40854.3372,29×3,632,125,2 sn636 MB
Karışık 100M · 32kbenim32.76858.64757.6871,02×1,714,517,8 sn941 MB
Karışık 100M · 64kbenim65.53653.01753.9510,98×1,554,998,9 sn1.004 MB
  • Test: FLORES-200 dev + devtest, 2009 paralel cümle, Türkçe (tur_Latn) ve İngilizce (eng_Latn), CC BY-SA 4.0, NLLB Team / Meta. 264.373 Türkçe karakter, 34.301 Türkçe kelime.
  • Eğitim metni: huggingface.co/datasets/wikimedia/wikipedia @ b04c8d1ceb2f, CC BY-SA 4.0. Türkçe 20231101.tr/train-00000-of-00002.parquet (SHA256 6994014607c0), İngilizce 20231101.en/train-00000-of-00041.parquet (SHA256 382e7f6f09e4). 200 karakterden kısa makaleler atıldı, makaleler 20261021 tohumuyla karıştırıldı.
  • Eğitim: Hugging Face tokenizers 0.23.3, BPE, ByteLevel ön bölme (GPT-2 düzenli ifadesi, baştaki boşluk eklenmedi), en az 2 tekrar, tek özel token <|endoftext|>. Her eğitim ayrı süreçte; süre yalnız train() çağrısı, RAM sürecin en yüksek RSS değeri. İşlemci Threadripper PRO 5955WX, GPU kullanılmadı.
  • Sayım özel tokenlar olmadan, her cümle ayrı yapıldı. Oran = toplam Türkçe token / toplam İngilizce token.
  • Tekrar üretilebilirlik: Türkçe 100M · 32k eğitimi üç kez çalıştı, dosya SHA256 üçünde de 0511854096ebf400.
  • Sızıntı kontrolü: 2009 Türkçe FLORES cümlesinden 300 milyon karakterlik eğitim metninde birebir geçen: 0.

Hazır tokenizer’lar:

  • GPT-4o ailesi (o200k): tiktoken 0.14.0 o200k_base
  • Qwen3.8: yerel Qwen3.8 NVFP4 snapshot 482ca0f · SHA256 0997f410c57a
  • Llama 4: huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct @ afd8e498c87b · SHA256 172c9eb4beaf
  • Kumru (VNGRS): huggingface.co/vngrs-ai/Kumru-2B @ 0b3cf37f657e · SHA256 1f00b5bbea83
  • Türkçe GPT-2 (YTÜ): huggingface.co/ytu-ce-cosmos/turkish-gpt2-large @ c4ddd0f3808f · SHA256 d9b4c033b96a

İndir: Türkçe 32k tokenizer · Türkçe+İngilizce 64k tokenizer · ölçüm sonuçları (JSON) · cümle bazında sayımlar (CSV) · eğitim süreleri · veri kaynakları ve SHA256 · tekrar kontrolü · betikler: prep.py, train.py, eval.py, repro_check.py, charts.py

Paylaşılan tokenizer dosyaları Wikipedia metninden (CC BY-SA 4.0) türetildi.

ölçüm → not → yeniden denemediğer test