Açıklanabilir ve yorumlanabilir yüz duygu tanıma
Explainable and interpretable facial emotion recognition
- Tez No: 807202
- Danışmanlar: DOÇ. DR. FATMA PATLAR AKBULUT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: İstanbul Kültür Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Günümüzde birçok sektörde otonom sistemler artmaktadır. Bu sistemler ile insanlar arasındaki etkileşimin artmasıyla bu sistemlerin doğru kararlar vermesi oldukça zorlaşmıştır. Otonom sistemlerin karar alırken insanların duygularını dikkate almaması, yanlış kararlar almasına sebep olmaktadır. Oluşturulan sistemlerin kişinin duygu durumuna göre karar vermesi gereken durumlarda, bu sistemlerin kişilerin duygularını yüz ifadelerinden hızlı ve doğru bir şekilde tahmin etmelerini gerekli kılmıştır. Bu çalışma yüz ifadesi tanımak için yapılan çalışmalarda oluşturulan yapay zekâ modellerinin aldığı kararların açıklanması ve eksikliklerinin belirlenmesi konularında yol gösterici olacaktır. İlk olarak Literatürde bu alanda yer alan çalışmalar incelenerek bu çalışmada kullanılacak model, veriseti ve teknikler belirlenmiştir. Bu çalışmada daha önceden eğitilmiş modeller olan VGG, ResNet ve Inception modelleri üzerinde iyileştirmeler yapılarak yeni üç model oluşturulmuştur. Oluşturulan modeller Fer2013 veriseti ile eğitilmiş ve modeller ilk olarak eğitim ve test verileri üzerinden karşılaştırılmıştır. Daha sonra ise modeller yedi farklı duygu durumu için seçilen yedi görüntüyü tahmin etmeleri sağlanarak ikinci defa karşılaştırılmıştır. Her iki karşılaştırmada da en iyi model VGG olmuştur. Modellerin yaptıkları tahminlerin doğruysa neden doğru ve yanlışsa neden yanlış olduğunu açıklanması için beş farklı Açıklanabilir Yapay Zekâ (XAI) tekniği kullanılmıştır. Kullanılan XAI teknikleri GradCAM, GradCAM++, Saliency haritası, SHAP ve LIME teknikleridir. Her modelin yedi farklı duygu durumunu tahmin etmesi sağlandıktan sonra bu tahminin beş farklı teknikle açıklaması yapılmıştır. En açıklayıcı bilgiler GradCAM++ ve Saliency haritası teknikleriyle elde edilmiştir.
Özet (Çeviri)
In today's world, autonomous systems are increasingly prevalent in various industries. As the interaction between these systems and humans increases, it becomes more challenging for these systems to make accurate decisions. One of the reasons for the systems making incorrect decisions is that they do not take into account human emotions when making decisions. In situations where these systems need to make decisions based on a person's emotional state, it has become necessary for these systems to quickly and accurately predict people's emotions from their facial expressions. This study aims to provide guidance on explaining the decisions made by artificial intelligence models developed for facial expression recognition and identifying their shortcomings. Firstly, existing studies in this field were examined to determine the model, dataset, and techniques to be used in this study. In this study, three new models were created by improving the pre-trained models VGG, ResNet, and Inception. These models were trained using the Fer2013 dataset, and initially compared using training and test data. Subsequently, the models were compared again by having them predict seven images selected for seven different emotional states. In both comparisons, the VGG model performed the best. To explain why the models made correct or incorrect predictions, five different eXplainable Artificial Intelligence (XAI) techniques were used. The XAI techniques employed were GradCAM, GradCAM++, Saliency Map, SHAP, and LIME. After each model predicted the seven different emotional states, the predictions were explained using the five techniques. The most informative results were obtained using GradCAM++ and Saliency Map techniques.
Benzer Tezler
- Açıklanabilir yapay zeka ile deepfake resim, video ve seslerin tespiti
Detection of deepfake images, videos and audio with explainable artificial intelligence
SENANUR ARMAĞAN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KAYA
- Erken Hristiyan ve ilk Bizans resim ve kabartma sanatında kaynak ve okullar (2 cilt)
Sources and school of painting and sculpture during the early Christian and first Byzantine period
AHMET MEHMET KİPMEN
- Rinoplastide high septal ve low septal koruyucu tekniklerin karşılaştırılması
Comparison of high septal and low septal preservation techniques in rhinoplasty
REHA FURKAN EKİCİ
Tıpta Uzmanlık
Türkçe
2025
Plastik ve Rekonstrüktif CerrahiBezm-İ Alem Vakıf ÜniversitesiPlastik Rekonstrüktif ve Estetik Cerrahi Ana Bilim Dalı
PROF. DR. KEMALETTİN YILDIZ
- Ticari kredi limit tahmini için açıklanabilir ve yorumlanabilir makine öğrenimi modeli
An explainable and interpretable machine learning model for commercial credit limit estimation
ENES KOÇOĞLU
Doktora
Türkçe
2025
Endüstri ve Endüstri MühendisliğiKarabük ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. FİLİZ ERSÖZ
DOÇ. DR. ESRA TEKEZ
- Öğrencinin akademik performansını tahmin etmede açıklanabilir yapay zekâ ve makine öğrenimi kullanımı
Using explainable artificial intelligence and machine learning to predict student academic performance
MÜJDE DİLEK SOBUTAY
Yüksek Lisans
Türkçe
2025
Yönetim Bilişim SistemleriBartın ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. DR. ÜMMÜHAN AVCI