Yüz ifadesi tanıma başarımı için ilgili bölge belirleme ve çekişmeli üretici ağlar kullanılarak örnek artırım yöntemlerinin geliştirilmesi
Development of a region of interest detection and a generative adversarial network based image augmentation approach for improving facial expression recognition performance
- Tez No: 675004
- Danışmanlar: PROF. DR. BURHAN ERGEN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 85
Özet
İnsanlar arası iletişimde en önemli araçlardan biri olan yüz ifadesi tanıma, teknolojinin geldiği noktanın da yardımıyla geçtiğimiz son on yılın en önemli araştırma alanlarından birisi haline gelmiştir. Yüz ifadelerinin otomatik olarak sınıflandırılması, başta insan bilgisayar etkileşimi olmak üzere klinik psikoloji, nöroloji, güvenlik sistemleri, akıllı ortamlar, müşteri memnuniyeti ve reklam sektörü gibi birçok alanda kullanılmaktadır. Taşınabilir cihazlar ile görüntüleme ve kaydetme işlemlerinin bireyler seviyesinde gerçekleştirildiği günümüzde, yüz ifadelerini hızlı ve gürbüz bir şekilde tanıyabilecek uygulama ve yöntemlere ihtiyaç vardır. Bu tez kapsamında, yüz ifadesi tanımanın başarımını artırmak üzere iki farklı çalışma sunulmuştur. Yapılan ilk çalışmada, yüz ifadesini temsil eden yüz üzerindeki ilgili alanın seçimi için bir kırpma metodolojisi önerilmiştir. Ardından bu metodoloji yardımıyla elde edilen imgeler, farklı mimarilere sahip olan üç evrişimsel sinir ağı üzerinde eğitilmiştir. Gerçekleştirilen çalışmanın sonucunda, yüz ifadesi içeren alan ve ağ seçiminin, yüz ifadesi tanıma üzerindeki etkisi hakkında önemli bulgular elde edilmiştir. Tez kapsamında sunulan ikinci çalışmada, kısıtlı sayıda örnek içeren bir yüz ifadesi veri tabanının örnek sayısını artırmak için çekişmeli üretici ağlar temelli bir veri artırımı yaklaşımı sunulmuştur. Çekişmeli üretici ağlar yardımıyla artırılan imgeler kullanılarak, yüz ifadesi tanıma için bir evrişimsel sinir ağı eğitilmiştir. Verinin dağılımını doğru bir şekilde yansıtan çekişmeli üretici ağlar yardımıyla artırılan örnekler ile eğitilen ağın, yüz ifadesi tanıma işlemi için literatürdeki çalışmalara kıyasla daha yüksek başarım sergilediği gözlemlenmiştir.
Özet (Çeviri)
Computer-aided analysis of facial expressions, which is one of the most important tools in interpersonal communication, has become one of the most important research areas of the last decade with the help of technology. The automatic classification of facial expressions is used in many areas such as human-computer interaction, clinical psychology, neurology, security systems, smart environments, customer satisfaction and the advertising industry. In today's world, where imaging and recording operations are carried out at the level of individuals with portable devices, there is a need for applications and methods that can recognize facial expressions quickly and robustly. Within scope of this paper, two different studies were carried out to improve the performance of facial expression recognition. Within the first study, a cropping methodology is proposed for detection of the region of interest on the face that represents the facial expression. Images obtained with this methodology are trained on three convolutional neural networks with each having a different architecture. As a result, important findings were obtained on region of interest and network selection for facial expression recognition. Within the second study, a data augmentation approach based on generative adversarial networks is presented in order to augment a facial expression database that contains a limited number of samples. Augmented images were used to train a convolutional neural network. According to the test phase results of the mentioned network, it was found out that, training with augmented samples that accurately reflects the distribution of the data yields a better performance than the rest of the literature.
Benzer Tezler
- Face recognition with local Walsh transform
Yerel Walsh dönüşümü ile yüz tanıma
MERYEM UZUN PER
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Affect recognition from facial expressions for human-computer interaction
İnsan-makine etkileşimi için yüz ifadelerinden duygu tanıma
SEZER ULUKAYA
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM EROĞLU ERDEM
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- Face expression recognition by using combined local binary patterns and local phase quantization
Birleşik yerel ikili örüntüler ve yerel faz kuantalama kullanılarak yüz ifadelerinin tanınması
YAVUZ KAHRAMAN
Yüksek Lisans
İngilizce
2016
Endüstri ve Endüstri MühendisliğiGaziantep ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALPTEKİN DURMUŞOĞLU
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT