An explainable ai application for classification of biomedical text with a hybrid approach using word embedding and bag-of-word
Biyomedikal metinlerin sözcük iliştirme ve sözcük torbası yöntemi kullanarak melez yaklaşımla sınıflandırılmasında açıklanabilir bir yapay zeka uygulaması
- Tez No: 774271
- Danışmanlar: PROF. DR. ADİL ALPKOÇAK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Dokuz Eylül Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 103
Özet
Literatürdeki açıklanabilir AI sistemi (XAI) de˘gerlendirme önlemlerinin ço˘gu insan müdahalesine ihtiyaç duydu˘gundan ve öznel oldu˘gundan, tarafsız ve daha otomatik yöntemlere duyulan ihtiyaç vazgeçilmezdir. Bu tez, hibrit bir özellik temsil yöntemi kullanan çok sınıflı bir sınıflandırma modelinin e¸slik etti˘gi bir XAI önermektedir. SHAP ve LIME olan iki XAI yönteminin karma¸sıklı˘gını objektif olarak kalibre eden üç nicel XAI de˘gerlendirme ölçütü geli¸stirdik. Bu ba˘glamda, hem kelime çantası (BoW) hem de kelime gömme (WE) tekniklerini birle¸stiren, derin ö˘grenme çoklu sınıflandırma sisteminde önceden belirleme adımı olarak kullanılan hibrit bir özellik temsil yöntemi olu¸sturuyoruz. Bu amaçla, sistem için çift yönlü uzun kısa süreli bellek (LSTM) derin ö˘grenme modeli kullanıyoruz. Daha sonra, kullanılan modelin kararlarını açıklamak için çoklu sınıflandırma sisteminin çıktıları üzerinde yerel ve global XAI gibi çe¸sitli XAI yöntemlerini uyguladık. Ayrıca, önerilen modelimizi ve tasarlanan sistemimizi OHSUMED adlı tıbbi çok sınıflı bir kıyaslamayı uyguluyoruz. Son olarak, karar a˘gacının derinli˘gini objektif bir XAI de˘gerlendirme ölçüsü olarak kullanarak SHAP ve LIME yöntemleri arasındaki açıklanabilirli˘gin karma¸sıklı˘gını kar¸sıla¸stırıyoruz. Tarafımızdan önerilen yeni nicel ve otomatik önlemlerin sonuçları, SHAP'ın daha az karma¸sık oldu˘gu için LIME yönteminden daha iyi performans sa˘gladı˘gını göstermektedir. Ek olarak, SHAP özellik önem puanlarına dayanarak, hangi özelliklerin en önemli oldu˘gunu ve dolayısıyla çok sınıflı sınıflandırma modeline dahil edilmesi gerekti˘gini belirleyebiliriz. Sonuç olarak, hem hibrit öznitelik temsil sistemini bir ön hazırlık a¸saması olarak hem de bizim önerilen XAI de˘gerlendirme önlemlerimizi kullanarak, sınıflandırma modelinin do˘grulu˘gu %45,4'ten %92'ye yükseldi.
Özet (Çeviri)
Since most of explainable AI system (XAI) evaluation measures in literature need human intervention and are subjective, the need for unbiased and more automatic methods is indispensable. This thesis proposes an XAI accompanied by a multi-class classification model using a hybrid feature representation method. We developed three quantitative XAI evaluation measures that objectively calibrate the complexity of two XAI methods, which are SHAP and LIME. In that context, we create a hybrid feature representation method that is used as a prepossessing step in a deep learning multi-classification system, combining both bag of words (BoW) and word embedding (WE) techniques. To this end, we use a bidirectional long-short-term memory (LSTM) deep learning model for the system. Thereafter, we implement several XAI methods, i.e. local and global XAI, on the outputs of the multi-classification system in order to explain the decisions of the employed model. Furthermore, we apply our proposed model and designed system to a medical multi-class benchmark called OHSUMED. Finally, we compare the complexity of the explainability between SHAP and LIME methods using the depth of the decision tree as an objective XAI evaluation measure. The results of the new quantitative and automatic measures proposed by us show that SHAP outperforms LIME method because it is less complex. Additionally, based on SHAP feature importance scores, we become able to identify which features are the most significant and hence must be included in the multi-class classification model. As a result, using both the hybrid feature representation system as a prepossessing step and our proposed XAI evaluation measures, the accuracy of the classification model increased from 45.4% to 92%.
Benzer Tezler
- Developing a novel artificial intelligence based method for diagnosing chronic obstructive pulmonary disease
Kronik obstrüktif akciğer hastalığı teşhisi için yapay zeka tabanlı yeni bir yöntem geliştirilmesi
İNANÇ MORAN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DENİZ TURGAY ALTILAR
- Explaining artificial neural networks with decision tree ensembles
Yapay sinir ağlarinin karar ağaci topluluklari ile açiklanmasi
SAYİT KILIÇ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURKAY GENÇ
- A comparison of CNN-based visual explanation methods inmedical images
Sağlık görüntülerinde CNN tabanlı görsel açıklama yöntemlerinin karşılaştırılması
ELHAM DEHGHANI MOINI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. NAFİZ ARICA
- Effective and explainable mechanisms for natural language interface in databases
Veritabanlarında doğal dil arayüzü için etkili ve açıklanabilir mekanizmalar
AKİFHAN KARAKAYALI
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜR ULUSOY
- Finansal zaman serisi tahmininde açıklanabilir yapay zeka ile makine öğrenimi tahmin performansının geliştirilmesi
Improving machine learning prediction performance with explainable artificial intelligence in financial time series prediction
TAHA BUĞRA ÇELİK
Doktora
Türkçe
2023
İstatistikOndokuz Mayıs Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. ELİF BULUT
DR. ÖĞR. ÜYESİ ÖZGÜR İCAN