Geri Dön

Quantitative evaluation of explainable artificial intelligence techniques across varied datasets and machine learning methods

Açıklanabilir yapay zeka tekniklerinin çeşitli veri seti ve makine öğrenmesi yöntemleri üzerinde nicel değerlendirilmesi

  1. Tez No: 875866
  2. Yazar: FEYZA AYDOĞAN
  3. Danışmanlar: DOÇ. DR. TEVFİK AYTEKİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Yapay Zeka Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Yapay Zeka Bilim Dalı
  13. Sayfa Sayısı: 68

Özet

Günümüzde büyük bir öneme sahip olan açıklanabilir yapay zekanın nicel olarak değerlendirilmesi büyük bir öneme sahiptir. Bu çalışma, ikili sınıflandırma ve regresyon görevleri için çeşitli alanlardan gelen on veri seti ile açıklanabilir yapay zeka metodlarını değerlendirecek bir yöntem oluşturur. Değerlendirme, XGBoost, LightGBM ve CatBoost gibi makine öğrenimi modellerinin karşılaştırılmasını ve TreeExplainer, LIME, SamplingExplainer ve PermutationExplainer olmak üzere dört XAI tekniğinin kullanımını içerir. Bu teknikler sadakat, monotonluk, model parametre rastgeleştirme, özdeşlik, ayrılabilirlik, istikrar ve süre olmak üzere yedi ölçüt üzerinden değerlendirilir. Bulunan sonuçlar göstermektedir ki her XAI metodu eşsiz güçlü ve zayıf yönler sergiler ve XAI tekniklerinde her duruma uyan tek bir çözümün olmadığını vurgular. Örneğin, TreeExplainer belirli ölçütlerde, LIME'ın başarısız olduğu alanlarda başarılı olabilir, bu da bazı metodların diğerlerine göre duruma bağlı üstünlüğünü ortaya koyar. Bu ayrıntılı performans, XAI alanında standartlaştırılmış değerlendirme ölçütlerinin zorunluluğunu daha da belirtir ve geleneksel makine öğrenimindeki kurulmuş metriklerle paralellik çizer ki bu da XAI uygulamalarının daha geniş kabul görmesi için şeffaflık, anlaşılabilirlik ve güven seviyesinin en üst düzeyde olmasını sağlar. Bu analizin XAI araştırmalarına katkısı iki yönlüdür: XAI metodlarının değerlendirilmesini kolaylaştırabilecek ölçütler önerir ve XAI'nin çeşitli alanlarda uygulanabilirliği hakkında içgörüler sunar. Metod seçimi hakkında bilgilendirilmiş kararlar almayı kolaylaştırarak bu çalışma, XAI'nin ilerlemesini ve etkili kullanımını destekler.

Özet (Çeviri)

The quantitative assessment of explainable artificial intelligence (XAI), a field of paramount importance in contemporary research, is critically significant. This study establishes a methodology to evaluate explainable artificial intelligence methods, engaging with 10 datasets from distinct domains for binary classification and regression tasks. Evaluation includes a comparison of machine learning models like XGBoost, LightGBM, and CatBoost, using four XAI techniques: TreeExplainer, LIME, SamplingExplainer and PermutationExplainer. These techniques are assessed against seven metrics: faithfulness, monotonicity, model parameter randomization, identity, separability, stability, and duration. The findings are indicative, showing that each XAI method displays unique strengths and weaknesses, emphasizing that there is no one-size-fits-all solution in XAI techniques. TreeExplainer, for instance, excels in certain metrics where LIME may not, highlighting the situational superiority of some methods over others. This nuanced performance further illustrates the essential need for standardized evaluation metrics within the field of XAI, drawing parallels to the established metrics in conventional machine learning to ensure a level of transparency, comprehensibility, and trust that is paramount for the wider acceptance of XAI applications. The contribution of this analysis to XAI research is twofold: it proposes metrics that could streamline the evaluation of XAI methods, and it offers insights into the applicability of XAI across various domains. By facilitating informed decisions about method selection, this study promotes the advancement and effective utilization of XAI.

Benzer Tezler

  1. Derin öğrenme ve açıklanabilir yapay zekâ teknikleri ile beyin tümörlerinin tespiti ve analizi

    Detection and analysis of brain tumors using deep learning and explainable artifical intelligence techniques

    MUSTAFA ÖZLÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. METE ÇELİK

    DR. ÖĞR. ÜYESİ NUH AZGINOĞLU

  2. Optik uzaktan algılama verilerinde hedef tespiti için açıklanabilir yapay zeka

    Explainable artificial intelligence for target detection in optical remote sensing data

    UĞUR ÖZENÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiKocaeli Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALP ERTÜRK

  3. Enhancing the stability and quality assessment of visual explanations for thorax disease classification using deep learning

    Derin öğrenme kullanarak göğüs hastalıkları sınıflandırması için görsel açıklamaların kararlılık ve kalite değerlendirmesini geliştirme

    SHAKIBA RAHIMIAGHDAM

    Doktora

    İngilizce

    İngilizce

    2023

    Bilim ve TeknolojiOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HANDE ALEMDAR

  4. An explainable ai application for classification of biomedical text with a hybrid approach using word embedding and bag-of-word

    Biyomedikal metinlerin sözcük iliştirme ve sözcük torbası yöntemi kullanarak melez yaklaşımla sınıflandırılmasında açıklanabilir bir yapay zeka uygulaması

    NIZAR ABDULAZIZ MAHYOUB AHMED

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ADİL ALPKOÇAK

  5. On real-world face super-resolution and face image synthesis evaluation

    Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine

    ERDİ SARITAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HAZIM KEMAL EKENEL