Görüntü işleme teknikleri kullanılarak yüz ifadelerinden duygu analizi
Emotion analysis from facial expressions using image processing techniques
- Tez No: 686114
- Danışmanlar: DR. ÖĞR. ÜYESİ KUBİLAY DEMİR, DR. ÖĞR. ÜYESİ HALİL YETGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Görüntü İşleme, OpenCV, Yüz İfade Sınıflandırılması, Derin Öğrenme, Yapay Sinir Ağları, CNN, Image Processing, OpenCV, Facial Expression Classification, Deep Learning, Artificial Neural Networks, CNN
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Bitlis Eren Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 87
Özet
nsanlar arası iletişimde büyük rol oynayan yüz ifadeleri duygu, düşünce ve ruhsal durumlarla ilgili bilgi vermede oldukça önemli bir yere sahiptir. İnsanlar arasındaki bu etkileşim gelişen teknolojiyle beraber insan makine ilişkisi içinde kullanılması amaçlanmıştır. Bu sebeple insanlara ait duyguların bilgisayarlar tarafından anlaşılması ve öğrenilmesi oldukça önemli bir konu haline gelmiştir. Birçok alanda yüz ifade analizine ihtiyaç doğduğundan verilerin hızlı işlenip sonucun en büyük doğruluk oranı ile bulunmasını gerektirmiştir. Böylece artan ihtiyaç ve gelişen teknoloji ile bu alanda yapılan çalışmalar da hızla artmıştır. Bu çalışmada insanın sahip olduğu“öfke, iğrenme, korku, mutluluk, üzüntü, şaşkınlık ve doğal”olmak üzere 7 duygu durumunun analizi gerçekleştirilmiştir. Bu 7 durumun sınıflandırılmasından önce gerçekleşmesi gereken temel adımlar vardır. Temel olarak bu adımlar; yüzün belirlenmesi, görüntünün temizlenip normalize edilmesi, görüntüden özniteliklerin çıkarılması, yüzdeki değişimlerin izlenmesi ve sınıflandırılmasıdır. Yüz ifadelerinin tespiti amacıyla 35887 adet yüz görselinden oluşan veri kümesinde çalışma yapılmıştır. Bu veri kümesi kullanılarak 7 farklı yüz ifadesi sınıflandırılmıştır. Bu çalışmada gri formatta bulunan 48x48 boyutundaki görseller önermiş olduğumuz CNN modeline uygulanmış ve başarımları değerlendirilmiştir. Yapılan çalışma da FER2013 veri kümesinde bulunan yüz ifadelerini otomatik sınıflandırmak amacıyla bir evrişimsel sinir ağı (CNN) önerilmiş olup, optimizasyon fonksiyonu olarak da“adam”ve“sgd”optimizasyon fonksiyonları ayrı ayrı denenerek sonuçları elde edilmiştir.“Adam”optimizasyon fonksiyonu kullanılarak önerilen modelde doğruluk oranı %69 olarak elde edilirken“sgd”optimizasyon fonksiyonu kullanılarak önerilen modelde ise doğruluk oranı %92 elde edilmiştir. Böylece önerilen modelde sgd optimizasyon fonksiyonunun doğruluk oranı adam optimizasyon fonksiyonunun doğruluk oranından daha yüksek olduğu belirlenmiştir.
Özet (Çeviri)
Facial expressions, which play a major role in interpersonal communication, provide information about emotions, thoughts and mental states. This interaction among people is aimed to be used in human-machine relationships with the advancements of technology. Therefore, understanding and learning human emotions by machines has become a significant issue. However, it is necessary to process facial expressions rapidly and as accurately as possible. In this study, 7 emotional states of“anger, disgust, fear, happiness, sadness, astonishment and natural”have been analyzed. There are basic steps to be taken before classifying these 7 emotional states, including; determining the face, cleaning and normalizing the image, extracting the features from the image, tracking and classifying the changes in the face. A study was conducted on a dataset of 35887 facial images to determine facial expressions. Using this data set, 7 different facial expressions were classified. In this study, 48x48 images in gray format were applied to our proposed CNN model and their performance was evaluated. In the study, a convolutional neural network (CNN) was proposed to automatically classify facial expressions in the FER2013 dataset, and the results were obtained by testing the“man”and“sgd”optimization functions separately as optimization functions. While the accuracy rate was 69% in the proposed model using the“Adam”optimization function, the accuracy rate was 92% in the proposed model using the“sgd”optimization function. Thus, it has been determined that the accuracy rate of the sgd optimization function in the proposed model is higher than the accuracy rate of the man optimization function.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Python kullanarak gerçek zamanlı yüz ifadesi algılama
Real-time facial expression recognition using Python
İPEK YAY
Yüksek Lisans
Türkçe
2024
Mekatronik MühendisliğiKarabük ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MEHMET ŞİMŞİR
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Görüntü işleme tabanlı yüz ifadelerinden duygu analizi
Sentiment analysis from face expressions based on image processing
ORHAN EMRE AKSOY
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELDA GÜNEY
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA