Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images
Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması
- Tez No: 856807
- Danışmanlar: DR. ÖĞR. ÜYESİ MURAT SARAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Çankaya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgi Teknolojileri Bilim Dalı
- Sayfa Sayısı: 69
Özet
Yüz ifadelerine dayalı olarak insan duygularının otomatik olarak tanınması, insan-bilgisayar etkileşimi, sağlık hizmetleri ve duygusal bilgi işlem dahil olmak üzere çeşitli alanlarda önemli sonuçları olan zorlu bir iştir. Son zamanlarda, modern derin öğrenme teknikleri, özellikle de Evrişimli Sinir Ağları (CNN'ler), yüzdeki duygu tanıma alanında umut verici sonuçlar sergiledi. Çalışma, gerçek zamanlı video veya gerçek zamanlı web kamerasındaki 2 boyutlu yüz görüntülerinden yedi temel duyguyu tanımanın en etkili yöntemini ortaya çıkarmak için kapsamlı bir araştırma sunuyor. Araştırma, Veri Artırma yöntemleri, CNN modelleri, KNN modelleri ve hibrit CNN-KNN yaklaşımı dahil olmak üzere farklı yöntemleri araştırıyor ve karşılaştırıyor. Önerilen hibrit CNN-KNN yöntemi, duygu analizi için önceden eğitilmiş bir CNN modeli tarafından öğrenilen zengin özellik temsillerinden yararlanmayı içerir. Önceden eğitilmiş CNN, yüz görüntülerinden yüksek seviyeli özellikler çıkarır ve bunlar daha sonra duygu sınıflandırması için bir KNN sınıflandırıcısına girdi olarak kullanılır. Tez, gerçek zamanlı videodaki performansını ve etkinliğini değerlendirmek için hibrit CNN-KNN yaklaşımını geleneksel bağımsız CNN modellerine ve KNN modellerine karşı değerlendirmektedir. Hibrit CNN-KNN yöntemine ek olarak tez, farklı CNN mimarileri, önceden eğitilmiş modeller kullanılarak transfer öğrenimi, veri artırma teknikleri ve birleştirme yöntemleri de dahil olmak üzere yüzdeki duygu tanımaya yönelik diğer birkaç yaklaşımı araştırıyor. Amaç, bu yöntemlerin performansını kapsamlı bir şekilde analiz edip karşılaştırmak ve doğru duygu tanıma için en uygun yaklaşımı belirlemektir. Değerlendirme, yedi temel duyguyu temsil eden, etiketli 2 boyutlu yüz görüntülerinden oluşan köklü bir koleksiyon olan FER2013 veri seti kullanılarak gerçekleştiriliyor. Yöntemlerin etkinliğini kapsamlı bir şekilde ölçmek için doğruluk, kesinlik, geri çağırma, F1 puanı, gerçek dünya deneyleri ve hesaplama verimliliği dahil olmak üzere bir dizi performans ölçümü kullanılır. Bu araştırmanın bulguları, her yaklaşımın güçlü ve zayıf yönlerine ışık tutuyor ve yüzdeki duygu tanıma için en etkili yöntemi belirliyor. Sonuçlar, gerçek dünya uygulamalarında duygu tanıma sistemlerinin geliştirilmesine rehberlik edecek ve daha empatik ve bağlam bilincine sahip insan-bilgisayar etkileşimlerini mümkün kılacak. Temel motivasyonumuz topluluk yöntemlerinin duygu tanımadaki etkinliğini araştırmaktır. Yan motivasyonlarımız ise FER sistemlerini geliştirip hem Türkiye'ye hem de dünyaya faydalı olacak yeni bir DB başlatmak, insan ve makineler arasındaki iletişimi geliştirmek, teknolojiyi insan duygularına daha duyarlı hale getirmek, insanı anlamak için teknolojiyi, insanı da teknolojiyi anlamak için desteklemek. Bu araştırmanın sonucunda, 29.716 örnekten oluşan kapsamlı bir destek tabanından yararlanarak, birleştirilmiş FER2013, CK+ ve KDEF veri kümelerinde %95'lik dikkate değer bir doğruluğa başarıyla ulaştı. Birleştirilmiş yeni DB ve FER2013'te %94'lük övgüye değer bir doğruluk elde eden yeni bir veritabanı olan ATS_FER_DB_2023'ü kullanıma sundu. Bu veri tabanı, önde gelen Türk ünlülerin yer aldığı 86 görseli kapsamaktadır. Gerçek zamanlı duygu tanıma alanında, ortamımızdaki çeşitli yöntemlerin titiz bir karşılaştırması, Temel Bileşen Analizi (PCA) ile geliştirilmiş CNN-KNN algoritmalarının, belirlediğimiz sistem montajında oldukça etkili olduğunu ortaya çıkardı.
Özet (Çeviri)
Automatic recognition of human emotions based on facial expressions is a challenging task with significant implications in various fields, including human-computer interaction, healthcare, and affective computing. In recent times, modern deep learning techniques, particularly Convolutional Neural Networks (CNNs), have exhibited promising results in the domain of facial emotion recognition. The study presents comprehensive research to reveal the most effective method for recognizing seven basic emotions from 2D facial images on real-time video or real-time webcam. The research investigates and compares different methods, including Data Augmentation methods, CNN models, KNN models, and a hybrid CNN-KNN approach. The proposed hybrid CNN-KNN method involves leveraging the rich feature representations learned by a pre-trained CNN model for emotion analysis. The pre-trained CNN extracts high-level features from facial images, which are then used as input to a KNN classifier for emotion classification. The thesis evaluates the hybrid CNN-KNN approach against traditional standalone CNN models and KNN models to assess its performance and effectiveness on real-time video. In addition to the hybrid CNN-KNN method, the thesis explores several other approaches to facial emotion recognition, including different CNN architectures, transfer learning using pre-trained models, data augmentation techniques, and ensemble methods. The aim is to thoroughly analyze and compare the performance of these methods and determine the optimal approach for accurate emotion recognition. The assessment is carried out using the FER2013 dataset, a well-established collection of labeled 2D facial images representing seven fundamental emotions. To comprehensively gauge the methods' effectiveness, a range of performance metrics including accuracy, precision, recall, F1 score, real-world experiments and computational efficiency are employed. This research's findings shed light on each approach's strengths and weaknesses and identify the most effective method for facial emotion recognition. The results will guide the development of emotion recognition systems in real-world applications, enabling more empathetic and context-aware human-computer interactions. Our main motivation is investigating the effectiveness of ensemble methods in emotion recognition. Our side motivations are to develop FER systems and start a new DB to be beneficial to both Turkiye and the world, improving communication between humans and machines, making technology more sensitive to human emotion, supporting technology to understand humans and humans to understand technology. As a result of this research, Successfully attained a remarkable 95% accuracy on the amalgamated FER2013, CK+, and KDEF datasets, leveraging a comprehensive support base of 29,716 instances. Introduced a novel database, ATS_FER_DB_2023, achieving a commendable accuracy of 94% on merged new DB and FER2013. This database encompasses 86 images, featuring prominent Turkish celebrities. In the realm of real-time emotion recognition, a meticulous comparison of various methods within our environment revealed that the CNN-KNN algorithms, enhanced with Principal Component Analysis (PCA), emerged as highly effective in our specified system assembly.
Benzer Tezler
- Cevap seçimi için derin öğrenme tabanlı bir melez zeki sistem tasarımı ve gerçekleştirimi
Design and implementation of deep learning-based hybrid intelligent system for answer selection
CANER ULUTÜRK
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYBARS UĞUR
- Data mining and machine learning in environmental informatics
Çevresel enformatikte veri madenciliği ve makine öğrenmesi
GÖKSU TÜYSÜZOĞLU
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. DERYA BİRANT
- Sınıflandırma problemlerinde topluluk öğrenme yöntemlerinin incelenmesi ve küçük hücreli dışı akciğer kanseri verileri üzerine bir uygulaması
Examination of ensemble learning methods in classification problems and an application on non-small cell lung cancer data
MEHMET KIVRAK
Doktora
Türkçe
2020
Biyoistatistikİnönü ÜniversitesiBiyoistatistik ve Tıp Bilişimi Ana Bilim Dalı
PROF. DR. CEMİL ÇOLAK
- Yaşam kalitesi endeksi tabanlı bileşik makine öğrenme teknikleriyle yaşam alanı tahmin modeli
A living environment prediction model using ensemble machine learning techniques based on life quality index
ZÜLFİYE ERDOĞAN
Yüksek Lisans
Türkçe
2017
Endüstri ve Endüstri Mühendisliğiİstanbul ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ERSİN NAMLI
- Kolektif makine öğrenmesi tabanlı ağ saldırı tespiti
Collective machine learning based network intrusion detection
ŞURA EMANET
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖNDER DEMİR
DR. ÖĞR. ÜYESİ GÖZDE KARATAŞ BAYDOĞMUŞ