Jest ve mimiklerden yapay sinir ağları ile duygu sınıflandırma
Emotion classification with artificial neural networks from facial expressions and gestures
- Tez No: 752593
- Danışmanlar: DOÇ. DR. FATMA BETÜL ATALAY SATOĞLU, PROF. DR. TANSEL ÖZYER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Metin, resim, video ve konuşma gibi farklı veri kaynaklarından doğru duyguyu sınıflandırmak, çeşitli disiplinlerden araştırmacılar için ilham verici bir alanı olmuştur. Videolardan ve fotoğraflardan otomatik duygu algılama, denetimli ve denetimsiz makine öğrenimi yöntemleri kullanılarak üzerinde çalışılan zorlu konulardan biridir. Bu tez çalışmasında bir takım ön işleme adımları ve yeni bir derin öğrenme mimarisi ile videolardan duygu analizi yöntemi sunulmaktadır. Videolardan OpenPose aracı kullanılarak elde edilen yüz ve vücut pozisyon bilgileri modellerde kullanılmak üzere poz tanımlayıcılara dönüştürüldü, ardından LSTM ve Dönüştürücü modelleri bu veri ile eğitilerek performansları karşılaştırıldı. Ardından LSTM ve Dönüştürücü modellerine bir CNN bloğu ön katman olarak eklenmiş poz tanımlayıcılarla beslenen CNN bloğunun çıktısı LSTM ve Dönüştürücü modelleri için girdi olarak kullanıldı. Model doğruluklarını iyileştirmek amacı ile Video Çoklama, Anahtar Kare Seçimi ve Gauss Karışım Merkezi yaklaşımları ön işleme adımları olarak eklenmiş ve deneyler bu farklı yaklaşımların kombinaysonları için tekrarlandı. Yapılan kapsamlı deneylerin ardından sonuçlar karşılaştırıldı ve önerilen iki katmanlı sınıflandırıcı yapısı ve ön işleme adımlarının etkileri gözlemlendi. Sonuçlar ayrıca aynı veri kümesini kullanan güncel, yüksek doığruluk oranlarına sahip diğer yöntemlerle de karşılaştırıldı. FABO ve CK+ olmak üzere iki yaygın veri kümesi kullanılarak gerçekleştirilen deneyler, FABO veri seti için video çoklama uygulanmış CNN-Dönüştürücü yapısının %99 doğruluk oranı ile, diğer modellerden daha iyi bir performansa sahip olduğunu gösterdi. Her iki veri kümesi için de bir çok versiyonda önerilen model %90 üzerinde doğruluğa ulaşarak kayda değer başarımlar elde etti.
Özet (Çeviri)
Classifying the right emotion from different data sources such as text, images, video, and speech has been an inspiring field for researchers from various disciplines. Automatic emotion detection from videos and photos is one of the challenging topics being studied using supervised and unsupervised machine learning methods. In this thesis, several preprocessing steps and a new deep learning architecture and emotion classification method from videos are presented. The face and body position information obtained from the videos using the OpenPose tool was converted into pose descriptors for use in the models, then the LSTM and Transformer models were trained with this data and their performances were compared. Then, the output of the CNN block fed with pose descriptors was used as input for the LSTM and Transformer models. Video Generation, Keyframe Selection, and Gaussian Mixture Center approaches were added as preprocessing steps to improve model accuracy and the experiments were repeated for combinations of these different approaches. After extensive experiments, the results were compared and the effects of the proposed two-layer classifier structure and preprocessing steps were observed. Results were also compared with other recent, high-accuracy methods using the same dataset. Experiments using two common datasets, FABO and CK+, showed that the CNN-Transformer structure with video generation approach for the FABO dataset outperforms the other models, with an accuracy of 99%. For both datasets, the proposed method in many versions achieved remarkable success, reaching an accuracy of over 90%.
Benzer Tezler
- Etude semiologique comparative du language corporel dans le programme televise Turc et Français
Türk ve Fransız televizyon programlarında beden dilinin karşılaştırmalı olarak göstege bilimsel incelenmesi
MEHMET KURT
Doktora
Fransızca
2002
Radyo-TelevizyonÇukurova ÜniversitesiFransız Dili ve Edebiyatı Ana Bilim Dalı
Y.DOÇ.DR. MEDİHA ÖZATEŞ
- İngilizce öğretmenlerinin öğretimsel performanslarının değerlendirilmesine ilişkin müfettiş ve öğretmenlerin görüş ve önerileri (Ankara ili örneği)
Supervisors and teachers' views and proposals related to the evaluation of the istructional performances of English teachers (Ankara case)
ZEHRA İLBARS
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Yönetimi, Teftişi, Planlaması ve Eko. Ana Bilim Dalı
PROF.DR. İNAYET AYDIN
- Resimli çocuk kitaplarında kültürel farklılıkların karakter tasvirlerine etkisi üzerine bir literatür incelemesi: 'Alaaddin'in Sihirli Lambası' örneği
A literature review on the effect of cultural differences on character descriptions in picture children's books: The example of 'Alaaddin's Magic Lamp'
NUR ÇİFTÇİ
Yüksek Lisans
Türkçe
2023
ReklamcılıkKocaeli Üniversitesiİletişim Tasarımı ve Bilişim Teknolojileri Ana Bilim Dalı
DOÇ. DR. HALUK ARDA OSKAY
- Türk halk oyunlarının sahnelenmesinde mimik ve makyaj
Mimic and make up in the staging of Turkish folkloric dances
ŞÜKRAN GÜVENİR
- Halk oyunlarında görsel ve işitsel materyal kullanılarak yapılan öğretimin başarı düzeyine etkisi
The Effect of education using visual materials in folk dance on the succes
MUSTAFA CEM HAMZAOĞLU
Yüksek Lisans
Türkçe
2000
SporYüzüncü Yıl ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
Y.DOÇ.DR. M. BÜLENT ASMA