Occlusion robust and aware face recognition
Bir kısmı kapalı yüz görüntülerine dayanıklı ve farkında yüz tanıma
- Tez No: 826754
- Danışmanlar: PROF. DR. HAZIM KEMAL EKENEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 66
Özet
Yüz tanıma, bir bilgisayar görüşü alt dalı olup, bireyleri yüz özelliklerine dayanarak tanımayı amaçlar. Başlangıçta bu alandaki modeller, elle hazırlanmış yüz özelliklerine dayanıyordu. Ancak derin öğrenme ve bu teknolojinin bilgisayar görüşü problemlerine uygulanmasındaki ilerlemeler sayesinde, en son yüz tanıma sistemleri derin öğrenme temelli mimariler kullanıyor ve LFW, AgeDB-30 ve MegaFace gibi çeşitli veri kümelerinde \%100 yakın sonuçlar elde ediyorlar. Bu ünlü veri setlerinde performans artık benzerlik göstermeye başladıkça, araştırmacılar daha zorlu problemlere, özellikle yüzdeki kısmi kapalı bölgelere odaklanmaya başladılar. Gözlük veya yüz maskesi gibi nesneler ya da aksesuarlar yüzü kısmen kaplar ve bu da daha az yüz özelliği çıkarılmasına neden olur. Bu da yüz tanıma sistemlerinin performansını düşürür ve yanlış tanımlama ile sonuçlanır. Bu problemin çözülmesi için kısmı kapalı bölgelere karşı dayanıklı ve farkında olan bir model geliştirilmelidir. Yüz özelliklerini engelleyen bu tür durumlar yüz tanıma sistemlerinin performansını düşürdüğü için, yüz özelliklerini engelleyen durumlara dayanıklı bir yüz tanıma modeline ihtiyaç vardır. Bu tür bir model geliştirilmeden önce, hangi engellerin kapsanacağı belirlenmelidir. Dış nesneler veya elementlerin neden olduğu çeşitli yüz özelliklerini engelleyen durumlar mevcuttur. Bu nesneler dışarıda bulunan tabelalar, başka insanların vücutları veya farklı nesneler olabilir. Bu tezde, tüm analizler ve model geliştirme, sırasıyla üst ve alt yüz engelleri, güneş gözlükleri ve yüz maskeleri üzerinde gerçekleştirilmiştir. Yüz özelliklerini engelleyen durumlar nedeniyle yüz görünümündeki değişiklikler, yüz tanıma sistemleri için ana zorluklardan biri olmuştur. Bu alandaki daha fazla araştırmayı kolaylaştırmak için, gerçek dünyadan toplanan kısmı kapalı yüz veri kümelerine ihtiyaç vardır. Bu tezde, hem güneş gözlüğü nedeniyle üst yüz engellemesi olan hem de maskeler nedeniyle alt yüz engellemesi olan yüzler içeren Real World Occluded Faces (ROF, Gerçek Dünya Kısmi Kapalı Yüzler) veri kümesini sunuyoruz. Bu veri setini kullanarak sentetik ve gerçek kısmi yüz engellerini karşılaştırmak için iki değerlendirme protokolü öneriyoruz. Ek olarak da bu veri kümesi üzerine geliştirdiğimiz Real World Occluded Faces Plus (ROF+, Gerçek Dünya Kısmi Kapalı Yüzler Geliştirilmiş) veri kümesi ile de kısmi kapalı yüz görüntülerinde performansı arttıracak bir model öneriyoruz. Tezimizin ana odağı, güneş gözlükleri ve maskeler nedeniyle oluşan üst ve alt yüz engellemeleri tarafından oluşturulan zorluklardır. Güneş gözlükleri popüler bir aksesuardır ve dünya çapında yaygın olarak kullanılmaktadır. Öte yandan, yüz maskeleri, özellikle COVID-19 pandemisi sırasında ve sonrasında, insanların günlük yaşamlarında giderek daha yaygın hale gelmiştir. Yüz maskeleri, hastalığın yayılmasını durdurmak için bir önlem haline gelirken, güneş gözlükleri popüler bir aksesuar olmaya devam ediyor. Hayatımızda bu aksesuarları görmeye devam edeceğimiz için bu aksesuarlara dayanıklı bir yüz tanıma modeli geliştirilmelidir. Bu, gerçek dünya yüz tanımasında bu tür engellemelerin bir problem olmaya devam etmemesini sağlar. Bu çalışmada, gerçek dünya verilerinin yüz özelliklerini engelleyen durumlara dayanıklı yüz tanıma modelleri geliştirmedeki önemini vurguluyoruz. Bir dizi deney ile, gerçek dünya yüz özelliklerini engelleyen durumların (üst veya alt yüz engellemelerinden bağımsız olarak) sentetik engellemelere kıyasla daha büyük zorluklar oluşturduğu gösterilmiştir. Sentetik yüz görüntüleri gerçek dünya kısmi kapalılıklarına benzer olsa da derin öğrenme tabanlı modeller için çözülmesi daha kolay bir problem olduğu gösterilmiştir. Kısmi engel bulunmayan yüz görüntülerinde ortalama \%99.5 doğruluk elde edilirken sentetik veriler ile geliştirilen analizlerde yaklaşık \%98 doğruluk elde edilmiştir. Bu derin öğrenme modellerinin kısmi kapalı yüzlere karşı ne kadar dayanıklı olduğunu göstermektedir. Fakat, ROF veri kümesi kullanılarak yapılan analizlerde bu performans düşüşünün daha yüksek olduğu, yaklaşık \%85 doğruluk elde edildiği gözlenmiştir. Bu da kısmi kapalı yüzlere karşı dayanıklı bir derin öğrenme modeli geliştirmek için gerçek kısmı kapalı yüz verilerinin kullanılmasının önemini anlatmaktadır. Sonuç olarak engelleri sentetik olarak oluşturmanın, gerçek dünya engellemelerinin doğasını yansıtmadığını gösterdik. Derin yüz modelleri, maskeler veya güneş gözlükleri içeren gerçek dünya kısmı kapalı yüzlerde test edildiğinde önemli performans düşüşlerini gözlemledik. İkinci bölümde, yüz özelliklerini engelleyen durumlara dayanıklı ve bu tür durumları algılayabilen bir yüz tanıma sistemi öneriyoruz. Önerilen sistem, genel yüz tanıma performansını fazla düşürmeden, özellikle maskeli ve güneş gözlüklü engellemeleri ele alacak şekilde tasarlanmıştır. Geliştirilen sistemde kısmi kapalı yüz engellerine karşı dayanıklı ve aynı zamanda bu kısmı kapalılıklara karşı farkındalık gösteren bir yapı kurulmuştur. Bu sayede iki farklı yaklaşım birleştirilmiştir. Bu modelin birincil hedefi, gerçek dünya kısmı kapalı yüzler içeren bir veri seti kullanarak genel bir yüz tanıma modelini ince ayarlamak ve bu durumu engellemelere dayanıklı hale getirmektir. Öte yandan, başka bir ağ, verilen bir görüntüdeki kısmı kapalı bölgeleri tanımlamaya odaklanır. Sonuç olarak, bu tez, gerçek dünya kısmi kapalı yüz veri setini sunuyor ve yüz tanıma yöntemlerinin performansı üzerinde engellemenin etkilerini inceliyoruz. Real World Occluded Faces (ROF) adında gerçek dünya kısmı kapalı yüz veri setini sunuyoruz ve yüz tanıma yöntemlerinin performansı üzerinde engellemenin etkilerini araştırdık. Sentetik olarak oluşturulan engellemelerin, gerçek dünya engellemelerinin doğasını yansıtmadığını gösterdik. Gerçek dünya kısmı kapalı yüzlerde test edildiğinde derin yüz modellerinin önemli performans düşüşleri yaşadığını analizlerimizle sunduk. Bu bilgiler ışığında geliştirdiğimiz yeni derin öğrenme modelimiz, tüm bu faktörleri göz önünde bulundurarak, kısmı kapalı bölgelerdeki dikkati azaltarak engellemelere genel olarak dayanıklı bir model olmayı hedeflemektedir. Bunu kısmi yüz engellerine karşı dayanıklı ve bu engellerin farkında bir mimari kullanarak sağlamaktayız. Yüz tanıma üzerine genel performansı korurken kısmı kapalı yüz tanıma üzerindeki performansı artırmayı amaçlayan bu yaklaşım, bu alandaki ilerlemeler için umut vericidir. Tez süresince yapılan çalışmalar ile MFR2021 ve OCFR2022 yarışmalarına katılınmıştır. MFR2021 yarışmasında 9 akademik çalışma arasından ilk sırada gelinmiştir.
Özet (Çeviri)
Occluded faces, due to accessories such as sunglasses and face masks, present a challenge for current face recognition systems. This thesis provides a comprehensive exploration of the issues caused by occlusions, particularly upper-face and lower-face obstructions, in real-world scenarios. The increased prevalence of sunglasses and face masks, the latter due to the COVID-19 pandemic, has amplified the importance of addressing these problems. In this thesis, the Real World Occluded Faces (ROF) dataset is gathered, a collection of faces experiencing both upper and lower face occlusions, serving as a critical resource for this area of study. Contrary to synthetic occlusion data, the ROF dataset provides an authentic representation of the issue, which our benchmark experiments have shown to be a significant impediment for even the most sophisticated deep face representation models. These models, while highly effective on synthetically occluded faces, exhibit substantial performance degradation when tested against the ROF dataset. This research comprises two distinct, yet interconnected sections. The first stresses the vital role of real-world data for the design and refinement of occlusion-robust face recognition models. Our experiments demonstrate the increased challenges posed by real-world occlusions in comparison to their synthetic counterparts. This insight allows us to gauge the performance and limitations of various model architectures under different occlusion conditions. The second section presents a novel, occlusion-robust, and occlusion-aware face recognition system, designed to increase performance on occlusions caused by sunglasses and masks, with minimal impact on generic face recognition performance. The system incorporates an occlusion-robust face recognition model, an occlusion-aware model, and an innovative layer integrating the outputs of these models to minimize occlusion effects. This unique configuration ensures the system's resilience to occlusions, focusing less on occluded regions and more on overall facial recognition. This thesis provides a thorough investigation of the challenges presented by occluded face recognition and proposes an innovative solution for the same. It underscores the necessity of utilizing real-world data for developing robust face recognition models and introduces a novel occlusion-aware face recognition system. This work has the potential to significantly enhance the performance of occluded face recognition methods in various real-world scenarios.
Benzer Tezler
- Deep convolutional neural network based unconstrained ear recognition
Derin evrişimsel sinir ağı tabanlı kısıtsız kulak tanıma
FEVZİYE İREM EYİOKUR
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
- Occlusion-aware benchmarking in 3D human pose and shape estimation
3B insan pozu ve şekli tahmininde örtme duyarlı kıyaslama
EMRE GİRGİN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Towards uncertainty-aware disentangled representations
Belirsizliğe duyarlı dolaşıklığı açılmış temsillere doğru
SEZAİ ARTUN ÖZYEĞİN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SİNAN KALKAN
- Uydu görüntüleri üzerinde rotasyon ölçekleme ve öteleme değişmezlikli nesne tanıma
Rotation scaling and translation invariant object recognition on satellite imagery
YUSUF SOYMAN
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HAKKI ALPARSLAN ILGIN
- Face recognition and person re-identification for person recognition
Kişi tanıma için yüz tanıma ve kişinin yeniden tanınması
EMRAH BAŞARAN
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
PROF. DR. MUHİTTİN GÖKMEN