Quantitative evaluation of explainable artificial intelligence techniques across varied datasets and machine learning methods
Açıklanabilir yapay zeka tekniklerinin çeşitli veri seti ve makine öğrenmesi yöntemleri üzerinde nicel değerlendirilmesi
- Tez No: 875866
- Danışmanlar: DOÇ. DR. TEVFİK AYTEKİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: 68
Özet
Günümüzde büyük bir öneme sahip olan açıklanabilir yapay zekanın nicel olarak değerlendirilmesi büyük bir öneme sahiptir. Bu çalışma, ikili sınıflandırma ve regresyon görevleri için çeşitli alanlardan gelen on veri seti ile açıklanabilir yapay zeka metodlarını değerlendirecek bir yöntem oluşturur. Değerlendirme, XGBoost, LightGBM ve CatBoost gibi makine öğrenimi modellerinin karşılaştırılmasını ve TreeExplainer, LIME, SamplingExplainer ve PermutationExplainer olmak üzere dört XAI tekniğinin kullanımını içerir. Bu teknikler sadakat, monotonluk, model parametre rastgeleştirme, özdeşlik, ayrılabilirlik, istikrar ve süre olmak üzere yedi ölçüt üzerinden değerlendirilir. Bulunan sonuçlar göstermektedir ki her XAI metodu eşsiz güçlü ve zayıf yönler sergiler ve XAI tekniklerinde her duruma uyan tek bir çözümün olmadığını vurgular. Örneğin, TreeExplainer belirli ölçütlerde, LIME'ın başarısız olduğu alanlarda başarılı olabilir, bu da bazı metodların diğerlerine göre duruma bağlı üstünlüğünü ortaya koyar. Bu ayrıntılı performans, XAI alanında standartlaştırılmış değerlendirme ölçütlerinin zorunluluğunu daha da belirtir ve geleneksel makine öğrenimindeki kurulmuş metriklerle paralellik çizer ki bu da XAI uygulamalarının daha geniş kabul görmesi için şeffaflık, anlaşılabilirlik ve güven seviyesinin en üst düzeyde olmasını sağlar. Bu analizin XAI araştırmalarına katkısı iki yönlüdür: XAI metodlarının değerlendirilmesini kolaylaştırabilecek ölçütler önerir ve XAI'nin çeşitli alanlarda uygulanabilirliği hakkında içgörüler sunar. Metod seçimi hakkında bilgilendirilmiş kararlar almayı kolaylaştırarak bu çalışma, XAI'nin ilerlemesini ve etkili kullanımını destekler.
Özet (Çeviri)
The quantitative assessment of explainable artificial intelligence (XAI), a field of paramount importance in contemporary research, is critically significant. This study establishes a methodology to evaluate explainable artificial intelligence methods, engaging with 10 datasets from distinct domains for binary classification and regression tasks. Evaluation includes a comparison of machine learning models like XGBoost, LightGBM, and CatBoost, using four XAI techniques: TreeExplainer, LIME, SamplingExplainer and PermutationExplainer. These techniques are assessed against seven metrics: faithfulness, monotonicity, model parameter randomization, identity, separability, stability, and duration. The findings are indicative, showing that each XAI method displays unique strengths and weaknesses, emphasizing that there is no one-size-fits-all solution in XAI techniques. TreeExplainer, for instance, excels in certain metrics where LIME may not, highlighting the situational superiority of some methods over others. This nuanced performance further illustrates the essential need for standardized evaluation metrics within the field of XAI, drawing parallels to the established metrics in conventional machine learning to ensure a level of transparency, comprehensibility, and trust that is paramount for the wider acceptance of XAI applications. The contribution of this analysis to XAI research is twofold: it proposes metrics that could streamline the evaluation of XAI methods, and it offers insights into the applicability of XAI across various domains. By facilitating informed decisions about method selection, this study promotes the advancement and effective utilization of XAI.
Benzer Tezler
- Derin öğrenme ve açıklanabilir yapay zekâ teknikleri ile beyin tümörlerinin tespiti ve analizi
Detection and analysis of brain tumors using deep learning and explainable artifical intelligence techniques
MUSTAFA ÖZLÜ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. METE ÇELİK
DR. ÖĞR. ÜYESİ NUH AZGINOĞLU
- Optik uzaktan algılama verilerinde hedef tespiti için açıklanabilir yapay zeka
Explainable artificial intelligence for target detection in optical remote sensing data
UĞUR ÖZENÇ
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiKocaeli ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALP ERTÜRK
- Enhancing the stability and quality assessment of visual explanations for thorax disease classification using deep learning
Derin öğrenme kullanarak göğüs hastalıkları sınıflandırması için görsel açıklamaların kararlılık ve kalite değerlendirmesini geliştirme
SHAKIBA RAHIMIAGHDAM
Doktora
İngilizce
2023
Bilim ve TeknolojiOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HANDE ALEMDAR
- An explainable ai application for classification of biomedical text with a hybrid approach using word embedding and bag-of-word
Biyomedikal metinlerin sözcük iliştirme ve sözcük torbası yöntemi kullanarak melez yaklaşımla sınıflandırılmasında açıklanabilir bir yapay zeka uygulaması
NIZAR ABDULAZIZ MAHYOUB AHMED
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADİL ALPKOÇAK
- On real-world face super-resolution and face image synthesis evaluation
Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine
ERDİ SARITAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL