Video duygu analizi
Video emotion analysis
- Tez No: 649673
- Danışmanlar: DR. ÖĞR. ÜYESİ METİN TURAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: İstanbul Ticaret Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 45
Özet
Bu çalışmada, videodaki görüntülerden tespit edilen insan yüzleri üzerinde CNN derin öğrenme modeli ile duygu analizi yapılmıştır. Bu analize ait sonuçlar saniye saniye kayıt edilerek bir duygu analizi grafiği çıkarılmıştır. Çalışma 3 ana safhadan oluşmaktadır. İlki CNN modeli için gerekli duygu yüklü görsellerin bulunup etiketlenmesi, ikincisi duygu analizi yapabilecek bir CNN derin öğrenme modelinin oluşturulması ve üçüncüsü de videolardan yüz görüntülerinin tespit edilmesidir. Eğitim veri seti oluşturmak amacıyla, seçilen 61 adet filmden binlerce yüz fotoğrafı analiz edilmiştir. Bunların arasında Bay Evet, Karabasan, Yaralı Yüz, Yedi Yaşam gibi farklı duyguların ağırlıklı olduğu filmler bulunmaktadır. İlk olarak 7 duygu türü için yüzler toplanmıştır. Bu duygular bıkkınlık, korku, mutluluk, sakinlik, şaşkınlık, sinirlilik ve üzgünlüktür. Yüz tespiti kısmında Haarcascade tekniği kullanılmıştır. Tespit edilen yüzlerin duygulara göre etiketlenmesinde, Amazon webservisi olan Face Recognition'dan yardım alınmıştır. Çalışmada, 50 bin civarı yüz örneklemi elde edilmiştir. Ancak daha sonra yapılan kontrollerde Haarcascade ile bulunmuş görüntüler arasında yüz olmayan birçok görsel tespit edilerek çıkarılmıştır. Ayrıca, Amazon web servisinden dönen duygu analizlerinde %40 civarında yanlış duygu tespiti olduğu belirlenerek, eğitim veri setinden çıkarılmıştır. Tüm veri seti temizleme çalışmaları sonucunda 7 duygu için etiketlenmiş 20 bin fotoğraf elde edilmiştir. Derin öğrenme sonucu, yapılan sınamalarda en çok karıştırılan 4 duygudan 2'sinin bıkkınlık ve şaşkınlık olduğu gözlemlenmiştir. Bıkkınlık sakinlikle, şaşkınlık ise korku yüz ifadeleri ile karışmaktadır. Elimizde kalan 5 duygu ile yapılan analizde, önerilen model ile %60'lık doğruluk değerine ulaşılmıştır. Videodan yüzleri çıkarıp modele gönderen ve bu sonuçlar ile bir duygu analizi grafiği çıkaran yazılımda, yüz tespitinin daha doğru olması için gerçek zamanlı analizde Haarcascade yöntemi yerine bir DNN modeli kullanılmıştır.
Özet (Çeviri)
In this study, emotional analysis was carried out with the CNN deep learning model on the human faces detected from the images in the video. The results of this analysis were recorded in seconds and an emotion analysis graph was created. The study consists of 3 main stages. The first is to find and label the emotional images required for the CNN model, the second is to create a CNN deep learning model that can conduct emotion analysis, and the third is to identify the facial images from the videos. In order to create a training data set, thousands of photographs from 61 selected films were analyzed. These include films with different feelings such as Yes Man, The Babadook, Scarface, Seven Pounds. First, faces were collected for 7 types of emotions. These feelings are boredom, fear, happiness, calmness, confusion, irritability and sadness. Haarcascade technique is used in the face detection section. Assistance was received from the Amazon Face Recognition web service for tagging detected faces according to emotions. In the study, about 50 thousand face samples were obtained. However, in the subsequent controls, many non-facial images were detected and removed from the images found with Haarcascade. In addition, approximately 40% false emotion detection was determined in the emotional analysis returned from the Amazon web service and removed from the training data set. As a result of the clearing of the whole data set, 20 thousand photos were tagged for 7 emotions. As a result of the deep learning, it was observed that 2 of the 4 emotions most confused during the tests were boredom and confusion. Boredom is confused with calmness, and confusion with fear facial expressions. In the 5 emotion analysis that we have, 60% accuracy value has been reached with the proposed model. In the software that extracts faces from the video and sends them to the model and displays an emotional analysis graph with these results, a DNN model is used instead of Haarcascade method in real-time analysis to make the face detection more accurate.
Benzer Tezler
- Bipolar bozukluk manik atak tanılı hastaların atak şiddetinin video tabanlı duygu analizi ile değerlendirilmesi
Evaluation of the severity of the manic episode with video based emotion recognition in bipolar disorder
SELDA ÖZTÜRK
- Video paylaşım sitesi youtube'a yüklenmiş olan ortodontik tedavi gören hastaların deneyimleri ile ilgili içeriklerin değerlendirilmesi
Evaluation of content related to the patient testimonials undergoing orthodontic treatment uploaded to the video sharing site youtube
DİLARA ODAMAN
Tıpta Uzmanlık
Türkçe
2024
Diş HekimliğiSelçuk ÜniversitesiOrtodonti Ana Bilim Dalı
PROF. DR. ZELİHA MÜGE BAKA
- Evaluation of comment sentiments in educational youtube videos
Eğitim içerikli youtube videolarında yorum duygu analizinin değerlendirilmesi
ELİF NAZ ÖZDAMAR
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiVeri Bilimi Ana Bilim Dalı
PROF. DR. YÜCEL SAYGIN
- Emotion analysis using facial expressions in video
Videodaki yüz i̇fadeleri üzerinden duygu analizi
KÜBRA EKMEKÇİ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiGaziantep ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERKAN ÖZBAY
- Twitter sentiment analysis
Twitter duygu analizi
BİRCAN ENGÜLLÜ
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TEVFİK AYTEKİN