Evaluation of local explainability methods in Turkish text classification tasks
Türkçe metin sınıflandırma görevlerinde yerel açıklanabilirliğin değerlendirimi
- Tez No: 909280
- Danışmanlar: DOÇ. DR. EMRE UĞUR, PROF. DR. AYŞE BAŞAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, Türkçe metin sınıflandırma görevleri için transformer modellerde yerel açıklanabilirlik tekniklerini kullanarak açıklanabilirlik başarısının nicel olarak değerlendirilmesini hedeflemektedir. Karmaşık encoder tabanlı sinir ağları çoğunlukla“kara kutu”modeller şeklinde tanımlanır ve bu durum modellerin iç yapılarının insanlar tarafından anlaşılmasını zorlaştırır. Bu çalışma, bu modellerde uygulanan yerel açıklanabilirlik tekniklerinin başarısını nicel olarak değerlendirip karşılaştırarak, ilgili yöntemlerin performansını göstermeyi amaçlamaktadır. BERTurk ve TurkishBERTweet olmak üzere BERT tabanlı modeller kullanılarak, SHAP, LIME ve Entegre Gradyanlar (EG) gibi açıklanabilirlik teknikleri uygulanmıştır. Bu teknikler, modellerin çıkarım yapma zamanındaki tahmin olasılıkları açısından değerlendirilmiş ve karşılaştırılmıştır. Teknikler, Temel Olasılıkların Ortalaması ve sistematik şekilde Token Silme gibi metodlarla mukayese edilmiştir. Araştırma sonuçları, Entegre Gradyanlar gibi gradyan tabanlı tekniklerin, orijinal metinde tahmin edilen sınıfla ilişkili belirgin token'ları etkin bir şekilde tespit ettiğini ortaya koymuştur. Ayrıca, EG ve LIME üzerinde, en belirgin token'ların seçiminde kullanılan eşik düzeylerinin etkisi incelenmiştir. Bu çalışma, EG yöntemi, metindeki bağlama bağlı kelimelerin ve ifadelerin katkılarını yakalayıp vurguladığı için, Türkçe metin sınıflandırma görevlerinde transformer tabanlı bir model kullanıldığında anlamlı açıklamalar üretmede etkili olduğunu öne sürmektedir. EG'nin bu özelliği, Türkçe'nin morfolojik karmaşıklığını anlamada önemli bir yere sahiptir.
Özet (Çeviri)
The primary goal is to evaluate the explainability of transformer models for Turkish text classification tasks, focusing on local explainability techniques. With the advancement of complex encoder-based neural networks, which often act as“black boxes”, there is a growing need for quantitative evaluation of existing explainability techniques. This study addresses this need by exploring local explainability methods that clarify how models reach their decisions. We use BERT-based models, specifically BERTurk and TurkishBERTweet, and apply local explainability techniques such as SHAP, LIME, and Integrated Gradients (IG). We evaluate these techniques based on their ability to preserve crucial information and provide insight into the model's decision-making through aspects like Mean of Probabilities and Incremental Deletion by comparing with a baseline approach. These aspects aim to calculate the faithfulness of the explanations. Our results demonstrate that the gradient-based technique, IG, effectively identifies salient tokens that correlate with the class of the full text. The research also explores the impact of the thresholding level on explainability evaluation aspects and compares the performance across two explainability techniques, IG and LIME. The study suggests that the IG method is effective in generating salient explanations when we use an encoder-based model in Turkish text classification tasks as it adeptly captures and highlights the nuanced contributions of context-dependent words and phrases, which are important in understanding Turkish morphological complexity.
Benzer Tezler
- İflas olasılığının genelleştirilmiş doğrusal modeller ve birleşik aktüeryal yapay sinir ağları için değerlendirmesi: Tamamlayıcı sağlık sigortası uygulaması
Evaluation of ruin probability using generalized linear model and combined actuarial neural networks methods: A complementary health insurance application
NERMİN ÖDÜL OKUNAKOL
Yüksek Lisans
Türkçe
2024
Aktüerya BilimleriHacettepe ÜniversitesiAktüerya Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BAŞAK BULUT KARAGEYİK
- Yeni bir sözdizimsel işaretleme yönteminin kullanımıyla Türkçenin istatistiksel ayrıştırma başarımının artırılması
Improving statistical dependency parsing performance of Turkish by use of a new annotation scheme
UMUT SULUBACAK
Yüksek Lisans
Türkçe
2015
Dilbilimİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÜLŞEN ERYİĞİT
- Finansal ürünlerin vergilendirme ve yasal düzenlemeler açısından değerlendirilmesi
Başlık çevirisi yok
ATİLLA UYANIK