Yüz ifadelerinin görünüm tabanlı ve dinamik özellikleri kullanılarak olumsuz koşullar altında hibrit yüz tanıma
Hybrid face recognition under adverse conditions using appearance-based and dynamic features of facial expressions
- Tez No: 709294
- Danışmanlar: DOÇ. DR. NİHAN KAHRAMAN, PROF. DR. ÇİĞDEM EROĞLU ERDEM
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Bilim Dalı
- Sayfa Sayısı: 101
Özet
Biyometrik sistemler, bir bireyin benzersiz fiziksel veya davranışsal özelliklerini ölçmeyi ve analiz etmeyi amaçlamaktadır. Biyometrik sistemlerin temel özelliği, kendine özgü özelliklere sahip vücut yapılarının kullanılmasıdır. Literatürde fizyolojik özellikleri (parmak izi, iris, avuç içi izi, yüz vb.) kullanan biyometrik sistemler ile davranışsal özellikleri (imza, yürüme, konuşma kalıpları, yüz dinamikleri vb.) kullanan sistemler bulunmaktadır. Son zamanlarda yüz biyometrisi, genellikle kullanıcının işbirliğini gerektirmeyen ve kişisel özel alanı ihlal etmeden elde edilebildiği için en çok tercih edilen biyometrik verilerden biri olmuştur. Son zamanlarda derin öğrenme tabanlı yüz tanıma yöntemleri, büyük veri tabanlarında dikkate değer tanıma başarımları elde etse de, performanslarının olumsuz koşullar altında (örn. şiddetli aydınlatma ve kontrast değişimleri; bulanıklık ve gürültü) düştüğü görülmüştür. Bu koşullar altında, yüz dinamikleri gibi yumuşak biyometrik özniteliklerin, görünüm temelli özniteliklerle birlikte kullanılması halinde performansı artırması beklenmektedir. Bu tezde, gülümseme ifadesi sırasında derin evrişimli sinir ağlarından çıkarılan görünüme dayalı özniteliklerin yanı sıra, yüzün nirengi noktalarının konumlarından çıkarılan istatistiksel yüz dinamiklerini kullanan yeni bir hibrit yüz tanıma sistemi önerilmektedir. Farklı parametrelere sahip önemli görüntü bozulmaları altında, literatürdeki en başarılı yöntemler arasında yer alan, önceden eğitilmiş üç farklı derin evrişimli sinir ağlarının (VGG-Face, VGG-Face 2 ve ArcFace) performansları değerlendirilmiştir. Deneysel çalışmaların sonuçları, yalnızca DESA tabanlı önitelikleri kullanan yüz tanıma performansının olumsuz koşullar altında önemli ölçüde düşmesine rağmen, yüz dinamikleri özniteliklerinin, derin evrişimli sinir ağı tabanlı özeliklerle birlikte kullanılmasının performans kaybını telafi edebileceğini ve doğruluğu önemli ölçüde artırabileceğini göstermektedir. Önerilen sistem, çok çeşitli aydınlatma varyasyonlarına sahip, bulanık ve gürültülü görüntüler içerebilen yüz tanıma problemlerinde ve yüz tanıma yanıltma ataklarına karşı faydalı olabilecektir.
Özet (Çeviri)
Biometric systems have the goal of measuring and analyzing the unique physical or behavioral characteristics of an individual. The main feature of biometric systems is the use of bodily structures with distinctive characteristics. In the literature, there are biometric systems that use physiological features (fingerprint, iris, palm print, face, etc.) as well as systems that use behavioral characteristics (signature, walking, speech patterns, facial dynamics, etc.). Recently, facial biometrics has been one of the most preferred biometric data since it generally does not require the cooperation of the user and can be obtained without violating the personal private space. Although recent deep‐learning‐based face recognition methods obtain remarkable recognition accuracies on large databases, their performance has been shown to degrade under adverse conditions (e.g. severe illumination and contrast variations; blur and noise). Under such conditions, soft‐biometric features such as facial dynamics are expected to increase the performance if they are used together with appearance‐based features. In this thesis, we propose a novel hybrid face recognition, which uses appearance‐based features extracted using deep convolutional networks and statistical facial dynamics features extracted from facial landmark positions during smile expression. We evaluated the performances of three different state‐of‐the‐art pre‐trained deep convolutional neural networks (VGG-Face, VGG-Face 2 and ArcFace) under a variety of severe image distortions with different parameters. The experimental results show that, although the face recognition performance using only DCNN‐based features drops significantly under adverse conditions, the utilization of facial dynamics features together with DCNN‐based features can compensate for the performance loss and increase the accuracy significantly. The proposed system is considered to be useful against face recognition problems, which may include blurry and noisy images with a wide variety of lighting variations, and spoofing attacks.
Benzer Tezler
- Yüz ifadelerinin geometrik ve görünüm tabanlı öznitelikler kullanılarak tanınması
Recognition of facial expressions using geometric and appearance-based features
NURİ ÖZBEY
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET BİLGİNER GÜLMEZOĞLU
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Durgun görüntülerden yüz ifadelerinin tanınması
Facial expression recognition from static images
BİLGE SÜHEYLA AKKOCA
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Yüzdeki nirengi noktalarının koşullu regresyon ormanları ile saptanması
Facial feature detection using conditional regression forests
GENCER VURAL
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Affect recognition from facial expressions for human-computer interaction
İnsan-makine etkileşimi için yüz ifadelerinden duygu tanıma
SEZER ULUKAYA
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM EROĞLU ERDEM