tüm notlar
Not · · 4 dk okuma ·

Yapay zekâ doğru konuyu buldu, peki doğru belgeyi mi?

Belge aramada benzerlik, birebir kod ve sürüm filtresi ne zaman işe yarar? Temsili bir örnekle yanlış belgeyi bulmakla yanlış cevabı yazmayı ayırıyorum.

Kullanılan teknolojiler ve ortam

Arama yöntemleri

  • Sözcük temelli arama (BM25), anlamsal arama ve hibrit sıralama
  • Elasticsearch belgelerinde birebir alan eşleşmesi ve filtreler

İnceleme kapsamı

  • Elastic belgeleri ve Thakur vd. tarafından yayımlanan BEIR çalışması
  • Temsili bakım kılavuzu; yeni model ya da arama deneyi yapılmadı

Bir bakım kılavuzunda F-17 hata kodunu arıyorum. Yapay zekâ, cihazın neden durduğunu akıcı biçimde açıklıyor. Kaynağı açtığımda kod F-71. Konu doğru: aynı cihaz ailesi, benzer arıza. Belge yanlış. Bu örnek temsili ama teşhis sırası işe yarıyor: cevabı düzeltmeye uğraşmadan önce sisteme hangi belgenin ulaştığına bakarım.

Aranan F-17 ve sürüm 2.1. F-71 aynı sürümde olsa da kodu farklı. F-17 ve sürüm 2.1 iki koşulu da karşılıyor.
Temsili örnek: benzer arızayı anlatan bir kayıt, aranan kodu içermeyebilir.

“Ekran karardı” ile “F-17” aynı tür sorgu değil

“Ekran karardı” yazdığımda kılavuzda “görüntü kesildi” geçiyor olabilir. Anlamsal arama burada işe yarayabilir: metinleri sayılardan oluşan temsillere (vektörlere) çevirip benzer olanları arar. Sözcük temelli arama ise metinde geçen terimlerden hareket eder. Elastic’in hibrit arama açıklaması bu iki yöntemin ayrı sonuç listeleri üretip sonra birleştirilebildiğini gösteriyor.

F-17 için aradığım şey benzerlik değil, aynı kod. Kod ayrı bir alanda kayıtlıysa, o alana kaydedilen kodla birebir eşleşme isterim. Aramayı yalnız belge metninde yapıyorsam önce bulunan pasajda kodu gözümle kontrol ederim. Belge taranmışsa metne dönüştürülürken kodun bozulmuş olabileceğini de hesaba katarım. Elasticsearch’teki keyword alanı, kimlik ve durum kodu gibi yapılandırılmış değerler için verilen bir örnek. Buradaki alan türü, sözcük temelli aramanın tamamıyla aynı şey değil.

Kod doğru, sürüm yanlış

Aynı kod iki sürümde de geçebilir. Bu kez sürüm bir tercih değil, koşul. Elimde doğrulanmış sürüm bilgisi varsa sürümü zorunlu filtre yapar, koşula uyan parçaları konuya göre sıralarım. Elasticsearch’ün sorgu ve filtre ayrımı bunu iyi anlatıyor: sorgu “ne kadar uyuyor?”, filtre “koşulu karşılıyor mu?” diye sorar.

AradığımArama koşuluKaynakta bakacağım yer
“Ekran karardı”Benzer ifadeleri de aday yapPasaj ekranı mı, başka bir parçayı mı anlatıyor?
F-17Kod alanında birebir eşleşmeKod gerçekten F-17 mi?
F-17, kitapçık sürümü 2.1Kod ve sürüm koşullarını birlikte uygulaKod ile sürüm aynı belgeye mi ait?

Bir kılavuz binlerce parçaya bölünüyorsa model adı ve sürüm gibi bilgilerin her parçayla birlikte taşınması gerekir ki bu bilgilerle parçaları filtreleyebileyim. Sürüm alanı boş ya da yanlışsa kusursuz yazılmış bir filtre bile yanlış aday kümesiyle çalışır. Aynı kod ve sürüm birden fazla cihazda bulunuyorsa cihaz modelini de koşula eklerim.

Önce bulunan parçayı aç, sonra cevabı oku

Bir belge arama sistemini değerlendirirken aynı soruyu dört biçimde denerdim: kılavuzdaki ifadeyle, kendi sözlerimle, benzer iki kodu ayırt etmeyi gerektirecek biçimde ve belgelerde hiç bulunmayan bir kodla. İlk üçü için beklediğim belgeyi ve sayfayı önceden yazardım. Sonuncuda beklentim, uygulamanın eşleşme bulamadığını açıkça söylemesi. Sonra iki şeyi ayrı kontrol ederdim:

  1. Arama: Beklediğim pasaj, cevap modeline gönderilen parçalar arasında mı? Aramada hiç çıkmadıysa belgeyi bölme biçimine, aramaya ve filtrelere bakarım. Sonuçlarda var ama modele ulaşmadıysa, sonuç listesinden hangi parçaların seçildiğini incelerim.
  2. Cevap: Parça modele ulaşmışsa cevap gerçekten o satıra dayanıyor mu? “Bu işlem yapılmamalı” cümlesini “yapılmalı” diye özetlemek, doğru pasaj bulunmuşsa arama hatası değil.

Uygulama gönderdiği parçaları göstermiyorsa, kaynak bağlantısını açıp ilgili satırı kontrol etmek hâlâ yararlı. Yalnız bu durumda hatanın arama mı, cevap yazma mı aşamasında olduğunu kesin ayıramam. Belgede karşılığı olmayan kod içinse yakındaki bir kodun hikâyesindense “bu kaynaklarda bulamadım” yanıtını tercih ederim.

Bu rehberdeki örnekler temsili; yeni model veya arama motoru testi yapmadım.

Hibrit aramayı denemeye ne zaman değer?

Hem günlük dille soru soruluyor hem de tam terimlerin önemli olduğu geniş bir belge koleksiyonu varsa, iki arama yolunu aynı sorularla denerim. Hibrit sıralama adayları birleştirebilir; zorunlu kod ve sürüm koşullarının yerine geçmez. BEIR çalışması kendi değerlendirmesinde sözcük temelli BM25’i güçlü bir başlangıç noktası olarak buldu. Bu, bir Türkçe kılavuzda hangi yöntemin öne çıkacağını söylemez.

İlgili yazılar: Belgeyi okutmak mı, modeli eğitmek mi? · Türkçe belge aramada sorgunun başına ne yazdım?

ölçüm → not → yeniden denemediğer not