Emotion Recognition from Facial Expressions using Deep Learning Approaches in Information Technologies
Bilgi Teknolojilerinde Derin Öğrenme Yaklaşımları Kullanılarak Yüz İfadelerinden Duygu Tanıma
- Tez No: 856818
- Danışmanlar: DR. ÖĞR. ÜYESİ YILMAZ ATAY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 111
Özet
Otomatik duygu tanıma; reklamcılık, teknoloji ve insan-robot etkileşimi gibi duygusal tepkilere dayalı çeşitli alanlarda, özellikle de bilgi teknolojisi (BT) sektöründe çok önemli rol oynar. Makinelerin günlük hayatımıza sorunsuz bir şekilde entegre olabilmesi için başka bir kişinin duygusal durumunu kendi bakış açısından anlayabilmeleri gerekir. Duygu tanıma için bilgisayarlı görme üzerine yapılan önceki çalışmalar ağırlıklı olarak yüz ifadelerini değerlendirmeye ve bunları korku, öfke, üzüntü, sürpriz, mutluluk ve normal türlerinde altı temel duyguya ayırmaya odaklanır. Bu çalışma, farklı veri kümeleri üzerinde eğitilmiş çok sayıda derin Evrişimli Sinir Ağı (CNN) modelini tanıtmakta ve bu veri kümelerinin insan duygularının derinliğini yakalamadaki sınırlamalarına ışık tutmaktadır. Duygu tanıma görevleri için özel olarak önerilen CNN modeli, FER2013 ve RAF-DB veri kümeleri referans alınarak tasarlanmıştır. Deneme yanılma yaklaşımı, uygulanan tüm CNN modelleri için en uygun öğrenme oranını ve diğer veri artırma parametre değerlerini belirler. Hiperparametre optimizasyonu için CNN ile birlikte genetik algoritma uygulanmıştır. Evrişimli bir sinir ağının tasarımında yer alan çok sayıda aktivasyon fonksiyonu, katman türü ve hiperparametre göz önüne alındığında, performansı artırmak için genetik algoritma kullanılmıştır. Ardından ResNet18, VGGNet16, VGGNet19 ve EfficientNet-B0 gibi daha karmaşık modeller soruna uyarlanarak derin öğrenme yaklaşımlarının performansı artırıldı. VGGNet modeli, orijinal 138M parametreleri nedeniyle diğer modellere göre daha karmaşık ve büyüktür. Ancak kullanılan özelleştirme yaklaşımıyla parametre sayısı 45,2 milyona düşürülmüştür. Deneysel sonuçlar incelendiğinde, tüm modeller arasında VGGNet19 modelinin FER2013 üzerinde %71,02 test doğruluğu ile en uygun sonuçları elde ettiği gözlemlenmiştir. RAF-DB veri seti üzerindeki testlerde ise VGGNet19 modeli %85,87 test doğruluğuna ulaşırken; ResNet18 modeli %86,02 test performansıyla diğer tüm modelleri geride bırakmıştır. Bu bulgular, önerilen özelletirme yaklaşımı ile otomatik duygu tanıma sistemlerinin etkin bir şekilde geliştirilebileceğini göstermiştir. Gelecek çalışmalarda bilgi teknolojileri alanındaki uygulamalar için ileri düzey sistemlerin önerilmesinin gerekliliği vurgulanmıştır.
Özet (Çeviri)
Automated emotion recognition plays a pivotal role in various fields reliant on emotional responses, such as advertising, technology, and human-robot interaction, particularly within the information technology (IT) sector. For machines to be seamlessly integrated into our daily lives, they must be able to understand another person's emotional state from their point of view. Previous studies on computer vision for emotion recognition mainly focus on evaluating facial expressions and classifying them into six basic emotions such as fear, anger, sadness, surprise, happiness, and natural (normal). This study introduces multiple deep Convolutional Neural Network (CNN) models trained on distinct datasets, shedding light on the limitations of these datasets in capturing the depth of human emotions. The CNN model specifically proposed for emotion recognition tasks was designed with reference to the FER2013 and RAF-DB datasets. The trial-and-error approach determines the optimal learning rate and other data augmentation parameter values for all applied CNN models. A genetic algorithm was applied together with CNN for hyperparameter optimization. The genetic algorithm has been employed to enhance the performance, given the multitude of activation functions, layer types, and hyperparameters involved in designing a convolutional neural network. After that more complex models, including ResNet18, VGGNet16, VGGNet19, and EfficientNet-B0, were adapted to the problem, and the performance of deep learning approaches were increased. The performances of all models were tested on FER2013 and RAF-DB datasets. The VGGNet model is too complex and large compared to other models due to its original 138M parameters. However, with the customization approach used, the number of parameters was reduced to 45.2M. When the experimental results were examined, it was observed that among all models, the VGGNet19 model achieved the most appropriate results with a test accuracy of 71.02% on FER2013. In tests on the RAF-DB dataset, the VGGNet19 model reached 85.87% test accuracy; the ResNet18 model outperformed all other models with a test performance of 86.02%. These findings showed that automatic emotion recognition systems can be effectively developed with the proposed customization approach. It has been emphasized that it is necessary to recommend advanced systems for applications in information technologies in future studies.
Benzer Tezler
- Yüz imgelerinden 2 boyutlu kip ayrışım yöntemleri kullanılarak duygu sezimi
Emotion detection using 2-dimensional mode decomposition methods from facial images
SERKAN TÜZÜN
Doktora
Türkçe
2024
Bilim ve Teknolojiİstanbul Üniversitesi-CerrahpaşaElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN AKAN
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images
Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması
AHMET TUNAHAN ŞANLI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT SARAN
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT