Açıklanabilir ve yorumlanabilir yüz duygu tanıma
Explainable and interpretable facial emotion recognition
- Tez No: 807202
- Danışmanlar: DOÇ. DR. FATMA PATLAR AKBULUT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: İstanbul Kültür Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 80
Özet
Günümüzde birçok sektörde otonom sistemler artmaktadır. Bu sistemler ile insanlar arasındaki etkileşimin artmasıyla bu sistemlerin doğru kararlar vermesi oldukça zorlaşmıştır. Otonom sistemlerin karar alırken insanların duygularını dikkate almaması, yanlış kararlar almasına sebep olmaktadır. Oluşturulan sistemlerin kişinin duygu durumuna göre karar vermesi gereken durumlarda, bu sistemlerin kişilerin duygularını yüz ifadelerinden hızlı ve doğru bir şekilde tahmin etmelerini gerekli kılmıştır. Bu çalışma yüz ifadesi tanımak için yapılan çalışmalarda oluşturulan yapay zekâ modellerinin aldığı kararların açıklanması ve eksikliklerinin belirlenmesi konularında yol gösterici olacaktır. İlk olarak Literatürde bu alanda yer alan çalışmalar incelenerek bu çalışmada kullanılacak model, veriseti ve teknikler belirlenmiştir. Bu çalışmada daha önceden eğitilmiş modeller olan VGG, ResNet ve Inception modelleri üzerinde iyileştirmeler yapılarak yeni üç model oluşturulmuştur. Oluşturulan modeller Fer2013 veriseti ile eğitilmiş ve modeller ilk olarak eğitim ve test verileri üzerinden karşılaştırılmıştır. Daha sonra ise modeller yedi farklı duygu durumu için seçilen yedi görüntüyü tahmin etmeleri sağlanarak ikinci defa karşılaştırılmıştır. Her iki karşılaştırmada da en iyi model VGG olmuştur. Modellerin yaptıkları tahminlerin doğruysa neden doğru ve yanlışsa neden yanlış olduğunu açıklanması için beş farklı Açıklanabilir Yapay Zekâ (XAI) tekniği kullanılmıştır. Kullanılan XAI teknikleri GradCAM, GradCAM++, Saliency haritası, SHAP ve LIME teknikleridir. Her modelin yedi farklı duygu durumunu tahmin etmesi sağlandıktan sonra bu tahminin beş farklı teknikle açıklaması yapılmıştır. En açıklayıcı bilgiler GradCAM++ ve Saliency haritası teknikleriyle elde edilmiştir.
Özet (Çeviri)
In today's world, autonomous systems are increasingly prevalent in various industries. As the interaction between these systems and humans increases, it becomes more challenging for these systems to make accurate decisions. One of the reasons for the systems making incorrect decisions is that they do not take into account human emotions when making decisions. In situations where these systems need to make decisions based on a person's emotional state, it has become necessary for these systems to quickly and accurately predict people's emotions from their facial expressions. This study aims to provide guidance on explaining the decisions made by artificial intelligence models developed for facial expression recognition and identifying their shortcomings. Firstly, existing studies in this field were examined to determine the model, dataset, and techniques to be used in this study. In this study, three new models were created by improving the pre-trained models VGG, ResNet, and Inception. These models were trained using the Fer2013 dataset, and initially compared using training and test data. Subsequently, the models were compared again by having them predict seven images selected for seven different emotional states. In both comparisons, the VGG model performed the best. To explain why the models made correct or incorrect predictions, five different eXplainable Artificial Intelligence (XAI) techniques were used. The XAI techniques employed were GradCAM, GradCAM++, Saliency Map, SHAP, and LIME. After each model predicted the seven different emotional states, the predictions were explained using the five techniques. The most informative results were obtained using GradCAM++ and Saliency Map techniques.
Benzer Tezler
- Erken Hristiyan ve ilk Bizans resim ve kabartma sanatında kaynak ve okullar (2 cilt)
Sources and school of painting and sculpture during the early Christian and first Byzantine period
AHMET MEHMET KİPMEN
- Probabilistic discriminative region descriptor for time series classification
Zaman serileri sınıflandırması için olasılıksal ayırt edici bölge bulucu
PINAR SÜNGÜ İŞİAÇIK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA GÖKÇE BAYDOĞAN
- Üniversite öğrencilerinin problem alanlarını belirlemeye yönelik bir ölçek geliştirme: Geçerlik ve güvenirlik çalışması
Başlık çevirisi yok
GÜNNUR ÖZBAY
Yüksek Lisans
Türkçe
1997
Eğitim ve ÖğretimKaradeniz Teknik ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ZAFER GÖKÇAKAN
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- A support decision system for predicting rating values of preproduction TV content: An explainable machine learning approach
Yayınlanmamış TV içeriğinin reyting değerinin tahmin edilebilmesi için karar destek sistemi: Bir açıklanabilir makine öğrenimi yaklaşımı
BURAK BATIBAY
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
PROF. DR. ATABEY KAYGUN