Bulut tabanlı derin öğrenme modelleri kullanılarak insansı robotlarda duygu analizi
Analysis of emotion in humanoid robots using cloud–based deep learning models
- Tez No: 674727
- Danışmanlar: PROF. DR. ABDULSAMET HAŞILOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: gerçek zamanlı duygu analizi, yüz ifadesi tanıma, derin evrişimli sinir ağları, bulut tabanlı derin öğrenme, insansı robot, real time emotion analysis, facial expression recognition, deep convolutional neural networks, cloud based deep learning, humanoid robot
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Atatürk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Amaç: Bu çalışmada, bir insansı robotun gözlerine yerleştirilen kameralar yardımıyla alınan görüntülerden, gerçek zamanlı olarak duygu analizi yapılması amaçlanmıştır. Aynı zamanda, yüz ifadelerinden, yedi temel duygunun (mutluluk, üzüntü, şaşkınlık, sinir, korku, iğrenme ve nötr) sınıflandırılması için yeni bir bulut tabanlı derin öğrenme modeli önerilmiş ve modelin geçerliliği test edilmiştir. Yöntem: Alınan görüntülerden duygu analizinin yapılabilmesi için yeni bir Derin Evrişimli Sinir Ağı (DESA) modeli önerilmiştir. Önerilen modelin eğitiminde FER-2013 ve MuxSpace görüntü kümeleri kullanılmıştır. Bu veri setlerindeki görüntü sayılarını artırmak amacıyla gönüllü katılımcılardan yüz görüntülerini alıp etiketleme işlemi yaparak ilgili klasörlere kaydeden harici bir yazılım geliştirilmiştir. Eğitilen modelin ağırlık dosyaları kullanılarak, gerçek zamanlı duygu analizi yapan bir program hazırlanmıştır. Önerilen modelin, eğitim ve test işlemleri ile gerçek zamanlı duygu analizi işlemleri, Google Colaboratory bulut ortamında, Python programlama diliyle gerçekleştirilmiştir. Tasarlanan insansı robotun, tespit edilen duygu ifadelerine karşılık, yapması gereken hareketleri belirleyebilmek amacıyla bir anket çalışması düzenlenmiştir. Bulgular: Önerilen modelin eğitiminde FER-2013 veri seti kullanılarak %70 doğruluk değeri elde edilirken, yeni oluşturulan veri seti (FerMux+) ile doğruluk değeri %74'e yükseltilmiştir. Robot kafa hareketlerinin belirlenmesi için yapılan anket çalışmasında, katılımcılar; sinirli (%39,3), nötr (%43,7) ve şaşkınlık (%32,9) duyguları için ileri, üzüntü (%64,5) ve iğrenme (%27,5) duyguları için aşağı, mutluluk (%38,1) ve korku (%25,7) duyguları için yukarı bakmayı tercih etmişlerdir. Sonuç: Önerilen model ile elde edilen doğruluk değeri, yazar bilgisi dâhilinde, literatürdeki FER-2013 veri seti kullanılarak yapılan duygu analizi çalışmaları ile kıyaslandığında bildirilen en yüksek sonuçtur. Ayrıca bu tez çalışması kapsamında oluşturulan yeni görüntü kümesi ile doğruluk değeri iyileştirilmiştir.
Özet (Çeviri)
Purpose: In this study, it is aimed to analyze emotions in real-time from images taken with the help of cameras placed in the eyes of a humanoid robot. At the same time, a new cloud-based deep learning model was proposed for the classification of seven basic emotions (happiness, sadness, surprise, anger, fear, disgust and neutral) from facial expressions and the validity of the model was tested. Method: A new Deep Convolutional Neural Network (DCNN) model has been proposed for emotional analysis from the images taken. In the training of the proposed model were used FER-2013 and MuxSpace image sets. In order to increase the number of images in these datasets, an external software has been developed that takes facial images from volunteer participants and records them in the relevant folders by labeling. A program that performs real-time emotion analysis was prepared by using the weight files of the trained model. The training and testing processes and real-time emotion analysis processes of the proposed model were carried out in the -Google Colaboratory cloud environment- with Python programming language. A survey study was conducted in order to determine the movements that the designed humanoid robot should do in response to the detected emotional expressions. Findings: While 70% accuracy value was obtained by using FER-2013 dataset in the training of the proposed model, the accuracy value increased to 74% with the newly created dataset (FerMux+). In the survey study conducted to determine robot head movements, the participants preferred to look forward for feelings of anger (39,3%), neutral (43,7%) and surprise (32,9%), to look down for feelings of sadness (64,5%) and disgust (27,5%) and to look up for feelings of happiness (38,1%) and fear (25,7%). Results: The accuracy value obtained with the proposed model is the highest reported result, to the author's knowledge, when compared to emotion analysis studies using the FER-2013 data set in the literature. In addition, the accuracy value has been improved with the new image set created within the scope of this thesis.
Benzer Tezler
- New edge computing offloading methods for next generation wireless networks
Yeni nesil haberleşme sistemleri için geliştirilen kenar ağlarda bilgi işlem yük boşaltma yöntemleri
BESTE ATAN
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
- Development of a deep learning approach for 3dimensional point cloud classification
3 boyutlu nokta bulutlarının sınıflandırılması için derin öğrenme yaklaşımı geliştirilmesi
ERAY SEVGEN
Doktora
İngilizce
2024
Jeodezi ve FotogrametriHacettepe ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SAYGIN ABDİKAN
- Bulut tabanlı derin öğrenme kullanarak insansız hava araçları için gerçek zamanlı nesne algılama
Real-time object detection for unmanned aerial vehicles using cloud-based deep learning
MEHMET BİLGE HAN TAŞ
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULSAMET HAŞILOĞLU
- Deep learning based road segmentation from multi-source and multi-scale data
Çok kaynaklı ve çok ölçekli veriyle derin öğrenme tabanlı yol bölütlenmesi
OZAN ÖZTÜRK
Doktora
İngilizce
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Real-time anomaly detection in UAV systems using TinyML on ARM Cortex-M microcontrollers
ARM Cortex-M mikrodenetleyicilerde gömülü makine öğrenmesi kullanarak İHA sistemlerinde gerçek zamanlı anomali tespiti
MEHMET ALPEREN BAKICI
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ