Evaluation of local explainability methods in Turkish text classification tasks
Türkçe metin sınıflandırma görevlerinde yerel açıklanabilirliğin değerlendirimi
- Tez No: 909280
- Danışmanlar: DOÇ. DR. EMRE UĞUR, PROF. DR. AYŞE BAŞAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 88
Özet
Bu çalışma, Türkçe metin sınıflandırma görevleri için transformer modellerde yerel açıklanabilirlik tekniklerini kullanarak açıklanabilirlik başarısının nicel olarak değerlendirilmesini hedeflemektedir. Karmaşık encoder tabanlı sinir ağları çoğunlukla“kara kutu”modeller şeklinde tanımlanır ve bu durum modellerin iç yapılarının insanlar tarafından anlaşılmasını zorlaştırır. Bu çalışma, bu modellerde uygulanan yerel açıklanabilirlik tekniklerinin başarısını nicel olarak değerlendirip karşılaştırarak, ilgili yöntemlerin performansını göstermeyi amaçlamaktadır. BERTurk ve TurkishBERTweet olmak üzere BERT tabanlı modeller kullanılarak, SHAP, LIME ve Entegre Gradyanlar (EG) gibi açıklanabilirlik teknikleri uygulanmıştır. Bu teknikler, modellerin çıkarım yapma zamanındaki tahmin olasılıkları açısından değerlendirilmiş ve karşılaştırılmıştır. Teknikler, Temel Olasılıkların Ortalaması ve sistematik şekilde Token Silme gibi metodlarla mukayese edilmiştir. Araştırma sonuçları, Entegre Gradyanlar gibi gradyan tabanlı tekniklerin, orijinal metinde tahmin edilen sınıfla ilişkili belirgin token'ları etkin bir şekilde tespit ettiğini ortaya koymuştur. Ayrıca, EG ve LIME üzerinde, en belirgin token'ların seçiminde kullanılan eşik düzeylerinin etkisi incelenmiştir. Bu çalışma, EG yöntemi, metindeki bağlama bağlı kelimelerin ve ifadelerin katkılarını yakalayıp vurguladığı için, Türkçe metin sınıflandırma görevlerinde transformer tabanlı bir model kullanıldığında anlamlı açıklamalar üretmede etkili olduğunu öne sürmektedir. EG'nin bu özelliği, Türkçe'nin morfolojik karmaşıklığını anlamada önemli bir yere sahiptir.
Özet (Çeviri)
The primary goal is to evaluate the explainability of transformer models for Turkish text classification tasks, focusing on local explainability techniques. With the advancement of complex encoder-based neural networks, which often act as“black boxes”, there is a growing need for quantitative evaluation of existing explainability techniques. This study addresses this need by exploring local explainability methods that clarify how models reach their decisions. We use BERT-based models, specifically BERTurk and TurkishBERTweet, and apply local explainability techniques such as SHAP, LIME, and Integrated Gradients (IG). We evaluate these techniques based on their ability to preserve crucial information and provide insight into the model's decision-making through aspects like Mean of Probabilities and Incremental Deletion by comparing with a baseline approach. These aspects aim to calculate the faithfulness of the explanations. Our results demonstrate that the gradient-based technique, IG, effectively identifies salient tokens that correlate with the class of the full text. The research also explores the impact of the thresholding level on explainability evaluation aspects and compares the performance across two explainability techniques, IG and LIME. The study suggests that the IG method is effective in generating salient explanations when we use an encoder-based model in Turkish text classification tasks as it adeptly captures and highlights the nuanced contributions of context-dependent words and phrases, which are important in understanding Turkish morphological complexity.
Benzer Tezler
- An explainable ai application for classification of biomedical text with a hybrid approach using word embedding and bag-of-word
Biyomedikal metinlerin sözcük iliştirme ve sözcük torbası yöntemi kullanarak melez yaklaşımla sınıflandırılmasında açıklanabilir bir yapay zeka uygulaması
NIZAR ABDULAZIZ MAHYOUB AHMED
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADİL ALPKOÇAK
- Derin pekiştirmeli öğrenmeye dayalı otonom sürüş için açıklanabilir yapay zeka
Explainable artificial intelligence (xai) for deep reinforcement learning based autonomous driving
MUHSİN KOMPAS
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İBRAHİM KÖK
- İflas olasılığının genelleştirilmiş doğrusal modeller ve birleşik aktüeryal yapay sinir ağları için değerlendirmesi: Tamamlayıcı sağlık sigortası uygulaması
Evaluation of ruin probability using generalized linear model and combined actuarial neural networks methods: A complementary health insurance application
NERMİN ÖDÜL OKUNAKOL
Yüksek Lisans
Türkçe
2024
Aktüerya BilimleriHacettepe ÜniversitesiAktüerya Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BAŞAK BULUT KARAGEYİK
- A situational awareness framework for connected autonomous vehicles
Bağlantılı otonom araçlar için durum farkındalık sistemi
DERYANUR TEZCAN
Yüksek Lisans
İngilizce
2024
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÜLAY ÖKE GÜNEL
- Enhancing the stability and quality assessment of visual explanations for thorax disease classification using deep learning
Derin öğrenme kullanarak göğüs hastalıkları sınıflandırması için görsel açıklamaların kararlılık ve kalite değerlendirmesini geliştirme
SHAKIBA RAHIMIAGHDAM
Doktora
İngilizce
2023
Bilim ve TeknolojiOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HANDE ALEMDAR