Makine öğrenmesi yöntemleri ve derin öğrenme yöntemeleri ile yüz ifadesi tanıma
Facial expression recognition using machine learning techniques and deep learning methods
- Tez No: 823269
- Danışmanlar: PROF. DR. YAŞAR BECERİKLİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 100
Özet
Yüz ifadeleri, bir kişinin zihinsel ve psikolojik durumunun sezgisel, istemsiz bir yansımasını ifade eder ve istemsiz duygular açısından zengindir. Yüz ifadelerine yansıyan duygular, insanlar arasındaki en önemli iletişim biçimlerinden biridir. Bu çalışmada, yedi Yüz ifadesi (Mutluluk, Şaşkınlık, Korku, Doğallık , Kızgınlık, Üzüntü ve İğrenme) kullanılmıştır. Ayrıca, yüzdeki duygu tanıma problemini çözmek için iki farklı yaklaşım sunulmuştur. İlk yöntem, makine öğrenimi algoritmalarını kullanan geleneksel yöntemlerdir. İkinci yöntem, evrişimli sinir ağları aracılığıyla yüz ifadelerini tanıyarak derin öğrenmeyi kullanmaktır. Makine öğrenmesi yönteminde, yüz tanıması yapılıp göz, kaş, burun ve ağız bölgeleri çıkarılır. Bu bölgelerden, yüz ifadesi özellikleri YGH(HOG) ve YİÖ(LBP) kullanılarak çıkarılır. Yüz ifadelerinin özellikleri çıkarıldıktan sonra, duyguları sınıflandırma ve tespit etmek için makine öğrenimi algoritmaları kullanılır. İki tür öznitelik çıkarma yöntemi (YGH ve YİÖ) ile dört tür sınıflandırma algoritması (DVM, Naive Bayes, RO(RF) ve KYK(KNN)) karşılaştırılmıştır. YGH ve veri seti (KDEF) kullanarak %91,83, %83,67, %81,63 ve %74,48 doğruluk oranları elde edilmiştir. YİÖ ve veri seti (KDEF) kullanarak %88,77 , %74,48 , %78,57 ve %67,34 doğruluk oranları elde edilmiştir. Yüz ifadelerini tanımak için evrişimli sinir ağlarını kullanmaya gelince, DwResNet, VGG-DVM ve Mobile-DVM modelleri önerilmiş. Önerilen DwResNet modeli iki temel prensibi birleştirir, birincisi ağın derinliğini artırmak, ikincisi ise kalan bağlantıdır. Sonuç olarak %93,87 doğruluk oranı elde edilmiştir. VGG-DVM'de, önce VGGNet kullanarak öznitelikleri çıkarılıp daha sonra öznitelikleri makine öğrenmesi DVM sınıflandırma algoritması kullanarak sınıflandırılır. Mobile-DVM modelinde, VGG-DVM modelinde olduğu gibi, önce MobileNet kullanarak öznitelikleri çıkarılıp daha sonra öznitelikleri DVM sınıflandırma algoritması kullanarak sınıflandırılmıştır. Sonuç olarak VGG-DVM=%92,17 ve Mobile-DVM= %93,53 doğruluk oranı elde edilmiştir.
Özet (Çeviri)
Facial expressions express an intuitive, involuntary reflection of the mental and psychological state of a person, and they are rich in involuntary emotions. Emotions that are reflected in facial expressions are among the most important forms of communication between people. In this study, seven facial expressions (happy, surprise, fear, normal, anger, sadness, disgust) were used. In addition, two different approaches are presented to solve the facial emotion recognition problem. The first method is traditional methods using machine learning algorithms. The second method is to use deep learning by recognizing facial expressions through convolutional neural networks. In the machine learning method, the face is recognized and the eye, eyebrow, nose and mouth regions are extracted. From these regions, facial expression features are extracted using HOG and LBP. After extracting the features of facial expressions, machine learning algorithms are used to classify and detect emotions. Two types of feature extraction methods (HOG and LBP) and four types of classification algorithms (SVM, Naive Bayes, RF and K-NN) were compared. Using HOG and data set (KDEF), accuracy rates of 91.83%, 83.67%, 81.63% and 74.48% were obtained. Using LBP and data set (KDEF), accuracy rates of 88.77%, 74.48%, 78.57% and 67.34% were obtained. Regarding the use of convolutional neural networks for facial expression recognition, DwResNet, VGG-DVM and Mobile-DVM models have been proposed. The proposed DwResNet model combines two basic principles, the first is increasing network depth and the second is residual connectivity. As a result, an accuracy rate of 93.87% was obtained. In the VGG-DVM, the features are first extracted using VGGNet and then the features are classified using the machine learning SVM classification algorithm. In the Mobile-DVM model, as in the VGG-DVM model, the features are first extracted using MobileNet and then the features are classified using the SVM classification algorithm. As a result, an accuracy rate of VGG-DVM=92.17% and Mobile-DVM=93.53% was obtained.
Benzer Tezler
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Kısmi ve tam yüz görüntüleri üzerinde makine öğrenmesi yöntemleriyle yüz ifadesi tespiti
Facial expression recognition on partial and whole face images with machine learning methods
İSMAİL ÖZTEL
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
PROF. DR. CEMİL ÖZ
- Yüz imgelerinden 2 boyutlu kip ayrışım yöntemleri kullanılarak duygu sezimi
Emotion detection using 2-dimensional mode decomposition methods from facial images
SERKAN TÜZÜN
Doktora
Türkçe
2024
Bilim ve Teknolojiİstanbul Üniversitesi-CerrahpaşaElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN AKAN
- Video based automatic affect analysis of a child and a therapist during play therapy
Bir çocuk ve bir terapistin oyun terapisi sırasındaki duygu durumunun videodan otomatik analizi
BATIKAN TÜRKMEN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
DOÇ. DR. ALBERT ALİ SALAH
- Dönüştürücü tabanlı çekişmeli üretici ağlar ile yüz ifadelerindeki değişimin analizi
Analysis of change in facial expressions with transformer-based generative adversarial networks
NARMIN YAGUBBAYLI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERT BAL