Derin öğrenme ve makine öğrenmesi tabanlı yüz ifadelerini tanımasistemi
Deep learning and machine learning based facial expressionrecognition system
- Tez No: 883863
- Danışmanlar: DR. ÖĞR. ÜYESİ YILDIZ AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Erzincan Binali Yıldırım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka ve Robotik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 62
Özet
İnsanlar arasındaki yüz yüze iletişimde kelimeler, ses tonu ve yüz ifadeleri verimli etkileşim açısından çok önemli bir konumdadır. Jestlerin ve yüz ifadelerinin kişilerarası ilişkiler üzerinde önemli bir etkiye sahip olduğu gözlemlenmektedir. Yüz ifadelerinden duygu tanıma işlemleri sayesinde tıp, eğitim, güvenlik başlıca olmak üzere birçok alanda çeşitli işlemlerde kolaylık sağlanmaktadır. Bu çalışma kapsamında, yüz ifadelerinden duygu tahmini işlemi gerçekleştirilen çalışmalardaki verimi artırmak amacıyla hibrit yaklaşım yöntemleri kullanılmıştır. Geliştirilen bu uygulama, öznitelik çıkarımı ve sınıflandırma olmak üzere iki adımdan oluşmaktadır. Bu tez çalışması kapsamında, ilk adımda SIFT, SURF, KAZE öznitelikleri SVM, XGB, RF, LR sınıflandırıcıları kullanılarak sınıflandırılmıştır. İkinci adımda ise CNN, ResNet50, VGG16 yöntemleri ile sınıflandırma işlemi yapılmıştır. Hibrit metotların ilk aşamasında derin öğrenme ve klasik makine sınıflandırıcılarının kendi aralarında kombinasyonel olarak kullanımıyla, SIFT, SURF, KAZE, ResNet50, VGG16 ile elde edilen öznitelikler SVM, XGB, RF, LR ve derin öğrenme metotları kullanılarak sınıflandırılmıştır. Hibrit metotların ve çalışmanın son aşamasında ise Hessian dedektörü ile tespit edilen anahtar nokta konumlarına SIFT tanımlayıcı inşa edilerek elde edilen hibrit öznitellik (HessianSIFT), SVM, XGB, RF, LR sınıflandırıcıları ile sınıflandırılmıştır. Elde edilen deney sonuçlarına göre, ResNet50 ve SVM'nin birlikte kullanılmasıyla yüz ifadelerinden tespit edilen duyguların tanıma başarısı %100 olarak belirlenmiştir.
Özet (Çeviri)
In face-to-face communication, words, tone of voice, and facial expressions are crucial for efficient interaction. It is observed that gestures and facial expressions significantly impact interpersonal relationships. Thanks to emotion recognition from facial expressions, various operations in many fields, especially medicine, education, and security, are facilitated. Within the scope of this study, hybrid approach methods were used to increase the efficiency of studies that performed emotion prediction from facial expressions. This developed application consists of two steps: feature extraction and classification. Within the scope of this thesis study, in the first step, SIFT, SURF, and KAZE features were classified using SVM, XGB, RF, and LR classifiers. In the second step, classification was performed using CNN, ResNet50, and VGG16 methods. In the first stage of hybrid methods, by using deep learning and classical machine classifiers in combination with each other, the features obtained with SIFT, SURF, KAZE, ResNet50, VGG16 were classified using SVM, XGB, RF, LR, and deep learning methods. In the final stage of the hybrid techniques and study, the hybrid feature (HessianSIFT) obtained by building a SIFT descriptor on the critical point locations detected with the Hessian detector was classified with SVM, XGB, RF, LR classifiers. According to the experimental results, the recognition success of emotions detected from facial expressions was determined as 100% using ResNet50 and SVM together.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Social behavior learning for an assistive companion robot
Yardımcı robotlar için sosyal davranış öğrenimi
PINAR ULUER
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Derin öğrenme algoritmaları kullanarak Bitcoin'de duygu analizine dayalı yön tahmini
Direction prediction based on sentiment analysis in Bitcoinusing deep learning algorithms
AYŞENUR SARIKAYA
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMalatya Turgut Özal ÜniversitesiEnformatik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERPİL ASLAN
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE