Geri Dön

Image quality assesment and enhancement for robust face recognition

Yüz tanıma için imgelerin kalite ölçümü ve iyileştirilmesi

PDF İndir

  1. Tez No: 534104
  2. Yazar: ONUR SERTKAYA
  3. Danışmanlar: PROF. DR. TAYFUN AKGÜL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 71

Özet

Otomatik yüz tanıma (Automated Face Recognition) biyometri alanının önemli bir uygulamasıdır. Yüz tanıma algoritmaları kişilere ait yüz resimlerini kullanarak kişi kimlik saptama (Identification) veya teyit (Verification) işlemlerini gerçekleştirir. Kimlik saptama işlemi, yakalanan yüzün ait olduğu kişinin daha önceden oluşturulmuş bir listede aranarak kim olduğunun bulunmasıdır. Teyit işlemi ise kişinin gerçekten beyan ettiği kişi olup olmadığına dair karar verilmesidir. Bu teknoloji, makinelerin kişilerin tanınmasını gerektiren gündelik işleri devralmasını sağlayarak iş gücünden tasarruf ettirebilir. Ancak erişim kontrolü ve kimlik doğrulama gibi yüksek güvenlik gerektiren uygulamalarda otomatik yüz tanıma algoritmaları ortam koşullarına ve kandırmalara karşı dayanıklı olmalıdır. Bir yüz tanıma algoritmasının başarımı standart hale getirilmiş verisetleri üzerindeki yüz çakıştırma performansı ile ölçülür (Benchmarking.) Kabul gören temel başarım ölçüm kriteri, pek çok kişiyi içeren bir veriseti üzerinde algoritmanın kimlik tahmini üzerindeki ``gerçek pozitiflik oranı''nın (True-Positive Rate, TPR) ``yalancı pozitiflik oranı''na (False-Positive Rate, FPR) göreli değişim miktarıdır. Bu oranların benimsenme sebebi, algoritmanın kimlik kontrolü senaryosunda kullanılırken, onaylayacağı erişimlerin reddedeceği erişimlerden daha çok önem arz etmesidir. Yanlışlıkla reddedilen bir erişimin telafisi için her zaman yeni bir yüz tanıma isteği yapılabilecek iken, yanlışlıkla onaylanacak bir erişim güvenlik açığı oluştur. Bahsedilen oranların birbirlerine göreli değişimi birim grafik üzerinde gözlemlendiğinde eğri altında kalan alan (Area Under Curve, AUC) algoritmanın davranışı ve başarımı ile ilgili bilgi verir. Ayrıca bu eğriden farklı yalancı pozitiflik oranlarına karşı düşen gerçek pozitiflik oranları görülebildiğinden, tolere edilebilecek minimum yanlış onay değerindeki tanıma başarımı değeri edinilebilir. Bir veriseti üzerinde yüksek başarıma sahip olan bir algoritma, gerçek dünya uygulamasına adapte edildiğinde göstereceği başarım aynı olmayabilir. Verisetlerindeki imgelerin çeşitliliği ve kapsamı sınırlı olduğundan ve gerçek dünya uygulamalarında karşılaşılabilecek yüz imgelerinin tipleri önceden bilinmediğinden algoritmanın başarımında düşüş görülebilir. Veriseti başarım testleri ile gerçek başarım arasındaki farkı olabildiğince azaltmak adına ``vahşi ortam'' (In the Wild) verisetleri bir araya getirilmiştir. Bu verisetlerindeki yüz imgeleri olabildiğince çeşitli seçilir: yatay ve dikey eksenlerdeki poz açısı, aydınlatma, kimlik çeşitliliği, yüz ifadeleri vb. parametrelerin varyansı vahşi ortam verisetlerinde yüksektir. Bu çeşitliliğe rağmen, vahşi ortam verisetlerindeki imgeler yine de gerçek ortamlarda yakalanan yüz imgelerinden daha kaliteli olmaktadır. Gerçek ortamdaki bir algoritmanın tanıma başarısının ne kadar zarar gördüğü, sisteme sağlanan yüz imgelerinin kalitesi ile ters orantılı olacaktır. Resim kalitesini tanımlamanın zorluğu ise kalitenin nicel temelde ölçülmesini zorlaştırdığından, yüz imge kalitesi, otomatik yüz tanımanın önemli ve çözülmesi gereken bir problemi halini almıştır. Sayısal görüntüler temel çalışma prensipleri aynı olan DSLR kamera, web kamera, akıllı telefon kamerası, kapalı devre televizyon kamerası gibi çok çeşitli kaynaklardan elde edilebilir. Alınan görüntüler üzerinde oluşan bozucu etkilerin temel sebebi kameranın baktığı sahnenin koşullarıdır. Özellikle yüz tanıma sistemleri için, dengesiz aydınlatma, yakalanan yüz imgesinin tanımaya uygun boyutlara getirilmesi sırasında meydana gelen ara değer hesabı (Interpolation), sıkıştırma algoritmalarının kayıpları ve harekete bağlı bulanıklık; görüntüleme sırasında yüzler üzerinde gözlemlenebilecek istenmeyen bozulmalara örnektir. Bu etkenlerin bir arada görülmesi sonucunda yüz resimleri üzerindeki kimlik belirten bilgiler bozulmaya uğramaktadır. Bu etkilerin önüne geçmek ve yüz tanıma başarımının düşüşünü telafi etmek için ön işleme yöntemleri kullanılabilir. Burada kullanılabilecek örnek bir yöntem yüzlerin kalitesinin ölçülmesidir. Tanımaya elverişli olmayan yüzler bu sayede elenir, ancak bu yöntem yapılan yüz tanıma isteklerinin bir kısmına cevap verilmemesine sebep olur. İkinci bir yöntem ise yüz imgelerinin iyileştirmeye tabi tutulmasıdır. Uygun bir algoritma sisteme gelen her yüz üzerinde otomatik filtreleme ve düzeltme işlemleri yaparak yüzlerin daha tanınır hale getirilmesini sağlar. Bahsedilen iki yöntemin bir arada kullanılacağı bir ön işlem bileşeni tasarlanarak yüz imge kalitesine yönelik genel bir çözüm geliştirilebilir. Derin öğrenme alanındaki son gelişmeler Evrişimsel Sinir Ağlarının (Convolutional Neural Network, CNN), daha eski ve geleneksel yöntemlerin pek çok bilgisayarlı görü uygulaması üzerindeki başarımını geçtiğini göstermektedir. Bu uygulamalara örnek olarak obje sınıflandırma, obje konum bulma/algılama ve obje bazlı imge bölütleme gösterilebilir. Yüz tanıma da derin öğrenme camiasının ilgilendiği, cazip bir alan olarak karşımıza çıkmaktadır. Derin öğrenmenin bir probleme çözüm olabilmesindeki en büyük etken konu ile ilgili bol miktarda etiketlenmiş veri bulunmasıdır. Son dönemde küreselleşme ve haberleşme teknolojilerinin yaygınlaşması sayesinde verinin aktarımı ve depolanması kadar işlenmesi de önem arz eder hale gelmiştir. Özellikle kitle kaynak (Crowdsourcing) çalışmalar verinin temiz ve doğru bir şekilde etiketlenmesini mümkün kılmaktadır. Bu çalışmada, yüz imge kalite ölçümü ve kalite iyileştirme algoritmalarını içeren bir ön işlem bileşeni tasarlanmıştır. Her iki problemin çözümü için göreve özelleşmiş Evrişimsel Sinir Ağı modelleri önerilmiştir. İhtiyaç duyulan veri kritik önem arz ettiğinden, mevcut verisetleri üzerinde veri arttırma (Data augmentation) yöntemleri kullanılarak yüz resim kalitesine dair ihtiyaç duyulan resim tipleri ve ilişkin kategori etiketleri üretilmiştir. Veri arttırma yöntemleri normalde bir probleme yönelik sinir ağı çözümünün daha yüksek genelleştirme başarımı göstermesi amacıyla eldeki verinin varyasyonlarının üretilmesi ile sağlanır. Bu çalışma bünyesinde ise veri arttırma yöntemleri, mevcut olan veriden (kaliteli, tanınabilir resimler) ihtiyaç duyulan verinin kendisini (kalitesiz resimler) elde etmek için kullanılmıştır. Önerilen bileşenlerin başarımları, kalite ölçüm bileşeni için etiketli test verisi üzerindeki ortalama karesel fark hatası cinsinden raporlanmıştır. Kalite iyileştirme algoritmasının başarımının ölçümü için ise, seçilen bir yüz tanıma algoritmasının sentetik olarak bozulmuş bir test veriseti üzerindeki başarımı ile bozulan bu verisetinin iyileştirilmiş hali üzerindeki başarımı karşılaştırılmıştır. Ayrıca ikinci bir yüz tanıma algoritmasının aynı set üzerindeki davranışı gözlemlenmiştir. Her iki durumda da yüz tanıma başarımının eğri altında kalan alan cinsinden belirgin miktarda arttığı gösterilmiştir. Bileşenler daha sonra gerçek ortam performansının ölçülmesi adına hâlihazırda kurulu bir yüz tanıma sistemine entegre edilerek yüz çakıştırma skorları üzerindeki değişimler gözlemlenmiştir.

Özet (Çeviri)

Automatic face recognition is an important application of biometrics in which, algorithms perform person identification or verification tasks using facial images of individuals. This technology enables the automation of daily tasks those require identification of one or many persons. A face recognition algorithm's performance is measured by its face matching rate on a standardized dataset. The algorithm may perform well on a benchmark, though it can experience loss of performance in real-world applications, depending on the quality of provided face images. Digital images can be acquired from many different sources such as DSLR cameras, webcams, smartphones, CCTV footage etc. While main working principle remains same across these devices, scene conditions yield substantial distortive effects on images. Specifically for face recognition systems, unpoised illumination, image upsampling artifacts, compression errors, blurriness due to motion and sensor noise are some of the undesired visual effects that can be observed on captured faces. Combinations of these effects reduce the amount of identity information, resulting in false recognition cases. Preprocessing methods may be beneficial to compensate harmed operation of face recognition. Recent developments in deep learning suggest that Convolutional Neural Networks outperform traditional algorithms on many computer vision tasks, including object classification, object localization/detection and image segmentation. Face recognition is also an attractive field of study to deep learning community. Recent algorithms show promising results for robust face recognition, with the help of specialized hardware and abundant amount of labeled data. In this work, we propose two modules those perform quality assessment and image enhancement, to support face recognition algorithms. These modules are designed to be employed prior to face recognition, where quality assessment may help for rejection of unsuitable faces and enhancement may increase matching scores for true identities. We employ Convolutional Neural Networks with specialized architectures to perform quality score prediction (regression) and facial enhancement (image transformation). Data augmentation techniques are used in order to obtain desired data. We identify prominent factors that affect face image quality and model them with simple image processing operations, then apply this model on high quality faces to create synthetic low-quality face data. Trainings were performed with obtained high and low quality faces for each proposed module. Performance contributions of proposed algorithms are measured with standard benchmarks. We report increased recognition rate when our image enhancement module is employed prior to face recognition. We also show enhancement module's generalization capability by performing additional tests with different algorithms and on different datasets.

Benzer Tezler

  1. Tez No

    905307

    Yüksek çözünürlüklü görüntülerde derin öğrenme tabanlı nesne tespiti için yeni bir önişleme yöntemi geliştirilmesi

    Development of a new preprocessing method for deep learning based object detection in high resolution images

    MUHAMMED TELÇEKEN

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

    PROF. DR. SEZGİN KAÇAR

  2. Tez No

    848592

    Mangan alüminyum mıknatıslarının spark plazma yöntemi ile üretimi ve karakterizasyonu

    Production of manganese aluminum magnets with spark plasma sintering and characterization

    CAN BURAK DANIŞMAN

    Doktora

    Türkçe

    Türkçe

    2023

    Metalurji Mühendisliğiİstanbul Teknik Üniversitesi

    Metalurji ve Malzeme Mühendisliği Ana Bilim Dalı

    PROF. DR. GÜLTEKİN GÖLLER

  3. Tez No

    815123

    Stereoscopic video quality assessment and enhancement for improving 3D experience

    3D deneyimini geliştirmek için stereoskopik video kalite değerlendirmesi ve geliştirme

    HASSAN IMANI

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MD BAHARUL ISLAM

  4. Tez No

    836744

    A learned post-processing model with quality-gated convlstm for video compression

    Video sıkıştırma için kalite kapılı evrişimsel uzun-kısa süreli bellek ile öğrenilmiş bir işlem sonrası model

    HİLAL GÜVEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET MURAT TEKALP

  5. Tez No

    486729

    Phase-based techniques for image and video processing applications

    İmge ve video işleme uygulamaları için faz tabanlı yaklaşımlar

    SERDAR ÇAKIR

    Doktora

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET ENİS ÇETİN

Geri Dön