Geri Dön

Improvement of face recognition performance through transfer learning: a comprehensive study using identity card biometric photographs and mobile phone selfie images

Transfer öğrenme yoluyla yüz tanım performanslarının geliştirilmesi: Kimlik kartı biyometrik ve cep telefonu özçekim fotoğrafları ile yapılan kapsamlı bir çalışma

PDF İndir

  1. Tez No: 863647
  2. Yazar: YÜSRA ALBARAZİ
  3. Danışmanlar: PROF. DR. KEMAL BIÇAKCI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
  12. Bilim Dalı: Bilgi Güvenliği Mühendisliği ve Kriptografi Bilim Dalı
  13. Sayfa Sayısı: 111

Özet

Klişe bir deyim olan“değişmeyen tek şey değişimin kendisidir”sözünü siber güvenlik alanına uyarlamak son derece mümkündür. Zira eskinin güvenlik araçlarıyla günün sorunlarına çözüm getirilememektedir. Söz gelimi, eskiden Sezar şifreleme algoritması kendi gününde işe yarasa da günümüzde kullanımının herhangi bir fayda sağlaması bir yana, zafiyete bile yol açacağı kesindir. Kimlik tespiti yöntemlerinin de devamlı değişmesinden bahsetmek mümkündür. Esasen her seferinde aynı zamanda gelişimi de bünyesinde barındıran değişimin özeti günümüzde“yüz tanıma teknolojisi ile uzaktan kimlik tespiti”şeklinde ifade edilebilir. Kimlik tespitinin son derece kritik olduğu havalimanlarında“yüz tanıma”elbette geçmişte de kullanılıyordu. Ağırlıkla insanın üzerindeki bu operasyonel yük, gerek havalimanı yoğunluklarının artışı gerekse de insanı atlatma yöntemlerinin de seviye yükseltmesi sebepleriyle, kaçınılmaz olarak (mümkün mertebe) makinelere devredilmeye başlanmıştır. Kayıt (check-in) sırasında ya da pasaport kontrol sırasında sistem, pasaporttaki (ya da kimlikteki) fotoğraf ile karşıdaki kişiyi benzerlik yönünden hesaplamaya tabii tutmaktadır. Yerini makineye devreden insan, bu süreçten tamamen çıkartılmış olmayıp esasen bir tür terfi ederek gözetleyici (supervisor) konumuna yükseltilmiştir. Makinenin (algoritmanın) yaptığı benzerlik hesaplaması ve çıktısı insanın denetimi altındadır. Bu durum aslında bahse konu algoritmaların arzu edilen seviyede başarıya henüz ulaşamadığının bir işaretidir. Yüz tanıma ile kimlik tespitinin özişleyiş (automation) ile kullanıldığı bir diğer saha ise bankaların“uzaktan kimlik tespit”işlemidir. Hesap açmak için banka şubesine hiç girmesi gerekmemektedir. Kullanıcının telefona indireceği banka uygulaması üzerinden yapacağı bağlantı ile karşı tarafa kimlik kartında dijital olarak saklı bilgilerini, biyometrik fotoğraf dahil, göndermekte ve ilaveten telefon kamerası ile anlık görüntü vermektedir. Bankanın kullandığı yüz tanıma algoritmasının yapacağı hesaplamalar sonucu elde edilecek benzerlik oranı ve tesis edilen eşik değer (ki oran bu eşik değerin üzerinde ise, pozitif tahminleme; altındaysa negatif tahminleme yapılmış olacaktır) kritik önemdedir. Zira insanın süreçteki yükünün en aza indirilmesi, algoritma performansının mümkün olan en yükseğe çıkartılmasını gerektirmektedir. Yüz tanıma algoritma performansını iyileştirmenin yollarından birisi, kendi çalışma sahanızı özümsemesini (transfer learning - öğrenme aktarımı) sağlamaktır. Elbette öğrenme aktarımı'nın sebebi salt performans iyileştirme değildir. Ekonomik (hesaplama gücü) nedenle bir modeli sıfırdan eğitmek çoğu zaman mümkün olmamaktadır. İstanbul Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından destekli projemiz kapsamında da öğrenme aktarımı yolunu izledik. Türkiye'ye uyarlanmış bir yüz tanıma algoritmasıyla akademik kaynağa katkı sağlamayı hedeflediğimiz çalışmamızın ilk aşamasında, çokca bilinen yüz tanıma algoritmalarını, kendi çabalarımızla derlediğimiz ve Türkiye'ye özgü nitelik taşıyan yüz veri kümesi üzerinde test ettik. Gerek temel performans testleri gerekse de kümemizin farklı alt-gruplarında yaptığımız testlerde FaceNet algoritması en yüksek başarımı gösterdi. Tüm testlerimiz (projemiz boyunca) dengeli dağıtılmış kümeler üzerinde yapılmıştır. Her biyometrik fotoğraf, pozitif özçekimlerle ve pozitif sayısınca negatif özçekimlerle eşleştirilmiştir. Negatif özçekimlerin her biri rastgele seçilmiş (ama tekrar etmemiş) diğer kişilerin yine rastgele seçilmiş özçekimlerinden oluşturulmuştur. Testler beşer defa tekrar edilerek, ortalama ve standart sapma hesaplanmıştır. Ortalama ve standart sapma sonuçlarına göre FaceNet algoritmasının gürbüz olma yeteneğine sahip olduğu, diğer deyişle farklı test senaryolarında, küçük dalgalanmalar hariç, başarımını koruyabildiği anlaşılmıştır. Projemizin ikinci safhasında da bu algoritma ile devam ettik. Projemizin ikinci sahfasında, veri kümemizi eğitim-doğrulama-test alt kümelerine böldük. Eğitim kümemizi çeşitli çoğaltma (enhancement) yöntemleriyle büyüttükten sonra en iyi sonucu sağlayacak hiperparametre (örn: parametre güncellemesi yapılacak katmanlar, devir sayısı, yığın sayısı, öğrenme oranı, aktivasyon fonksiyonu gibi) takımını tespit edebilmek için yüzlerce deneme yaptık. Ardışık iki adet tezin ilkinde temel performans sonuçlarını ilan ederken işbu tezimizde ise yeniden öğretme sürecini ve sonuçlarını işledik. Yüzlerce deneme yapmamızın sebeplerini irdeleyecek olursa: her ne kadar hiperparametre hususu bir noktaya kadar teknik konu olsa da daha sonrasında mesele çokca denemeye kalmaktadır. Zira bir değişkenin (örn: yığın sayısı - batch size) klasik görülen tercihi ve o tercihteki davranış tarzı belli iken (örn: 32, 64 vs.) birden fazla değişkenin birlikteliği halinde aynı değişkenin davranışı değişebilmektedir. Daha sade bir şekilde ifade etmek gerekirse, (örneğin) yığın sayısı (32) bir senaryoda işe yararken başka bir senaryoda işe yaramayabiliyor. Dolayısıyla en iyi takımı tespit için yüzlerce deneme yapmak durumunda kaldık. En kritik hiperparametremiz; hangi katmaların çıkartılıp hangi katmanların ekleneceği, hangi katmanlarda parametre güncellemesi (diğer deyişle yeniden eğitme) yapılıp hangi katmanların dondurulacağı hususu idi. Denemelerimiz neticesinde esas mimariyi değiştirmeden, yani herhangi bir katman ekleme-çıkarma yapmadan ve son 20 katmanı açık tutarak, yani parametre güncelleme yaparak, denemelerimiz arasında en yüksek sonuca ulaşabildiğimizi gördük. Bu noktada altının çizilmesi gereken nokta; tespit ettiğimiz hiperparametre takımı, en iyi takım anlamına gelmemektedir;“yaptığımız denemeler arasında”en iyi takım anlamına gelmektedir. FaceNet algoritması asıl parametreleriyle bizim veri kümemiz üzerinde %97.95 düzeyinde doğruluk başarımı gösterirken, çalışmamız kapsamında ortaya koyduğumuz hiperparametre takımıyla uygulanacak transfer öğrenme işleminin %99.45 seviyesine kadar başarım iyileştirmesi sağladığı anlaşılmıştır. Diğer deyişle, tezimize de konu olan projemizin ikinci safhası ile akademik literatüre, bilinen bir yüz tanıma algoritmasının ülkemizde daha odaklı çalışır hale getirilmiş türünü kazandırmış olduk. Yine altının çizilmesi gereken bir husus olarak; ulaşılan bu başarım nihai olmayıp daha fazla deneme yaparak, hiperparametrelerle daha fazla oynayarak başarımı daha da iyileştirmek teorik olarak mümkün kabul edilmelidir. Uzaktan kimlik tespit özişleyişinde sisteme kazandırılması gereken bir diğer yetenek“canlılık tespiti”dir. Projemiz kapsamında yer almayan bu özelliğin, sonraki çalışmalarımızda ayrıntılı bir şekilde ele alınması planlanmaktadır

Özet (Çeviri)

This thesis investigates the challenges and opportunities in adapting the FaceNet algorithm, a state-of-the-art deep neural network method for face verification, to the unique context of Turkish facial recognition. The FaceNet algorithm, known for its outstanding precision on global benchmark datasets such as the Labelled Faces in the Wild (LFW), has previously exhibited an impressive accuracy rate of 99.63%. Nevertheless, upon evaluating the FaceNet model using our localized Turkish faces dataset, a notable decline in performance was observed, resulting in an accuracy rate of 97.95%. This discrepancy highlights the need for region-specific optimization to ensure reliable facial recognition systems tailored to diverse demographics. To bridge this disparity in performance, we implemented a transfer learning approach. Transfer learning leverages knowledge gained from pre-training on a source domain (in this case, LFW) and applies it to a target domain (our local Turkish dataset). To achieve our goal and to make the FaceNet model work better in this particular domain, we tweaked its parameters to better reflect the distinctive features of Turkish faces. This will allow the model to effectively adapt to the various circumstances that it is presents in this new domain. To improve the model's performance, the last 20 layers of the model were made trainable. In addition, we have implemented Parametric Rectified Linear Unit (PReLU) activations in order to strengthen the model and mitigate any potential drawbacks that may arise from using conventional Rectified Linear Unit (ReLU) activations. This proactive measure effectively resolved the issue of the“dying ReLU”problem by ensuring the continuous activity and responsiveness of neurons, especially when encountering negative inputs. Thus, the model's ability to identify and distinguish Turkish facial characteristics are significantly improved, resulting in a notable improvement in performance. The outcomes of our implemented transfer learning strategy yielded a transformative impact on the performance of the FaceNet algorithm. Witnessing a substantial surge, the accuracy rate on our local Turkish dataset ascended from 97.95% to an impressive 99.45%. This achievement marks a significant milestone, representing not only a technical feat but a critical advancement toward the deployment of advanced facial recognition systems that boast both high accuracy and contextual awareness. The refined FaceNet model extends its relevance to numerous real-world applications, underscoring the efficacy and adaptability of transfer learning methodologies in fine-tuning deep neural network models for specific demographic contexts. In the realm of security systems, where robust facial recognition is pivotal, our refined FaceNet model assumes a crucial role. Specifically, it holds the potential to significantly reduce false rejects and false accepts, thereby fortifying the security of onboarding processes for Turkish individuals, such as opening a bank account online. This improvement not only minimizes inconvenience but also bolsters trust in the system, crucial in today's digital landscape. Furthermore, in the domains of national security and border control, the refined FaceNet model plays a critical role in elevating authentication processes. The heightened accuracy and contextual awareness act as robust safeguards against potential security threats, notably diminishing the prospect of unauthorized access. This achievement carries added significance in the cybersecurity domain, where the model's efficacy becomes pivotal in addressing vulnerabilities associated with facial recognition technology. Therefore, by advancing accuracy, our work contributes meaningfully to the ongoing discourse on secure and resilient machine learning deployments in critical security domains. These contributions align with the imperative of ensuring secure, responsible, and effective machine learning implementations within the dynamic landscape of security frameworks.

Benzer Tezler

  1. Tez No

    802868

    Kimlik kartı biyometrik fotoğraf ve telefon kamerası özçekim ile yüz tanıma, veri toplama, test, değerlendirme ve karşılaştırma

    Face recognition, data collection, testing, evaluation and comparison with id card biometric photo and phone camera selfie

    MURAT SEKMEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. KEMAL BIÇAKCI

  2. Tez No

    75376

    Performans yönetimi

    Performance management

    SERTAÇ ERENMEMİŞOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

  3. Tez No

    30850

    Uluslararası fon piyasaları ve döviz kredileri mekanizması (analitik bir yaklaşım)

    A Short history of the foreign exchange markets

    ADNAN YİĞİT

    Yüksek Lisans

    Türkçe

    Türkçe

    1994

    BankacılıkMarmara Üniversitesi

    Uluslararası Bankacılık ve Finans Ana Bilim Dalı

    PROF. DR. İLHAN ULUDAĞ

  4. Tez No

    106781

    Gelişmekte olan ülkelere yönelik uluslararası sermaye hareketleri ve Türkiye

    International capital flaws to emerging markets Turkey

    SERKAN ASLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2001

    EkonomiMarmara Üniversitesi

    Sermaye Piyasası ve Borsa Ana Bilim Dalı

    Y.DOÇ.DR. ÖZLEM KOÇ

  5. Tez No

    397969

    Face track retrieval and recognition across age

    Yaşlar arası yüz iz çıkarımı ve tanıması

    ESAM GHALEB

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HAZIM KEMAL EKENEL

Geri Dön