Geri Dön

Presentation attack detection with shuffled patch-wise binary supervision

Karıştırılmış yama tabanlı ikili gözetim ile sunum saldırı tespiti

PDF İndir

  1. Tez No: 741022
  2. Yazar: ALPEREN KANTARCI
  3. Danışmanlar: PROF. DR. HAZIM KEMAL EKENEL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 66

Özet

Günümüzde birçok sistem kullanıcılarının hesaplarını ve yetkilerini güvende tutabilmek için biyometrik verilerin doğrulanmasını istemektedir. Pek çok yüksek güvenlikli bina, bankacılık sistemleri, sağlık uygulamaları ve hatta kişisel akıllı telefonlar kullanıcı girişi için ekstra olarak biyometrik verileri kullanmaktadır. Geleneksel olarak kullanılan PIN kodları veya şifreler gibi çalınması kolay olmayan ve her kişinin kendine özel ve biricik olan biyometrik veriler ile yapılan doğrulamalar hem daha güvenli hem de kullanıcılar için daha kolay bir erişim yöntemidir. Biyometrik verilere parmak izi, avuç içi izi, kulak, ses, yüz, iris, retina, imza, vücut kokusu, el damarı veya DNA bilgisi örnek olarak verilebilir. Fakat çok sayıdaki bu verilerin alınması için farklı donanımlar gerekmektedir. Örnek olarak, parmak izi almak için gereken sensörler, ışıklandırma ve parmağın sensöre nasıl yerleştirildiği gibi teknik zorluklar her biyometrik verinin günlük yaşamdaki doğrulamalar için kullanılamamasına sebep olmaktadır. Bu biyometrik verilerden en kolay elde edilebilen ve kullanılabilenlerin başında yüz gelmektedir. Yüz biyometrisini elde etmek için gerekli olan tek sensör kameradır. Günümüzde maliyetleri oldukça düşen kameralar, zaten birçok yerde kullanıldığı için biyometrik doğrulama için de sıklıkla kullanılmaktadır. Biyometrik doğrulamanın dışında yüz biyometrisi askeriye, güvenlik güçleri, sağlık uygulamaları, kayıp insanların tespiti gibi birçok alanda da karşımıza çıkmaktadır. Bu alanlarda kişi tanılama, kişi doğrulama ve kişi onaylama gibi farklı amaçlarla kullanılan yüz biyometrisi hem sağlayabileceği başarı oranı hem de sağladığı güvenlik seviyesi nedeniyle hem akademide hem de endüstride üstüne oldukça çalışılmaktadır. Fakat yüz biyometrisi kullanan bu sistemlerin en büyük zayıflığı verilen biyometrik verinin gerçekten kişinin kendisinden gelip gelmediğinin tespit edilmesinin zor olmasıdır. Bir biyometrik sistemin sensörüne, bir kullanıcının çalınmış verilerinin sunulmaya çalışıldığı saldırılara sunum saldırıları adı verilmektedir. Sunum saldırıları her türlü biyometrik sistemde olabilse de bu tez kapsamında yüz sunum saldırılarının tespiti konusu incelenmektedir. Yüz sunum saldırıları günümüzde daha çok sisteme kayıtlı kullanıcıların yüz imgelerinin sosyal medya platformlarındaki profil imgelerinden kopyalanması veya kişinin yüz imgelerinin farklı yollardan ele geçirilmesi ile yapılmaktadır. Ele geçirilen yüz imgesi bir kağıda basılabildiği gibi bu imge üzerinden silikon veya reçine maskeler oluşturularak biyometrik sistem kandırılmaya çalışılabilmektedir. Buna ek olarak dijital ortamlardan elde edilen imge ve videolar telefon, tablet, televizyon, monitör gibi görüntüleme cihazlarına aktarılıp sunulan biyometrik verinin gerçekçiliği artırılabilmektedir. Günümüzde birçok biyometrik sistem sadece tek bir imge değil, video kaydı ile sunulan biyometrik verinin gerçekçiliğini daha kolay bir şekilde tespit etmeye çalışmaktadır. Fakat tek bir imgeden sunum saldırı tespiti yapmanın oldukça başarılı olduğu gösterilmiştir. Artan veri miktarı, ucuzlayan donanım maliyetleri ve sinir ağları mimarilerinde bulunan yeni yöntemler sayesinde derin öğrenme modelleri geleneksel yöntemlerden daha başarılı şekilde bilgisayarlı görü, ses tanıma, doğal dil işleme, medikal görünteleme ve robotik gibi birçok alana adapte edilmiştir. Yüz sunum saldırı tespitleri için geleneksel öznitelikleri kullanan sistemler sunulmuş olsa da son yıllarda hızlı bir şekilde kabiliyetlerini kanıtlayan yapay sinir ağları sunum saldırı tespiti için de kullanılmaya başlamıştır. Yüz sunum saldırıları özünde ikili sınıflandırma olarak formülize edilmektedir. Pozitif sınıf sensörün karşısında gerçek ve canlı bir insan olduğunu ve verilen yüzün herhangi bir cansız materyalden gelmediğini belirtirken, negatif sınıf ise verilen imge veya videodaki yüzün canlı bir insana ait olmadığını belirtir. Sunum saldırı tespiti problemi ayrıca yüz canlılığı tespiti olarak da adlandırılmaktadır. Fakat buradaki canlılık kavramı kafa karıştırıcı olabilmektedir. Canlılık kavramı ile kastedilen sensörün karşısındaki kişinin canlı olması ve yüzünün herhangi bir maske, kağıt, elektronik cihaz veya makyaj gibi yüz biyometrisini değiştirecek objelerle kapatılmamış olmasıdır. Yapay sinir ağlarının yüksek başarım göstermesi ve genelleştirilebilir sonuçlar verebilmesi için çok fazla sayıda veriye ihtiyacı bulunmaktadır. Sunum saldırı tespitine en yakın alanlardan biri olan yüz tanıma alanındaki yapay sinir ağları için milyonlarca imge kullanılmaktadır. Fakat sunum saldırı veri kümelerini oluşturmak diğer bilgisayarlı görü alanlarındaki kadar kolay olmamaktadır. Her bir saldırı için bir kişinin yüz imgesini veya videoyu içeren kağıt, maske, görüntüleme cihazı gibi saldırı enstrümanını oluşturması ve bu enstrümanla birlikte sistemi olabildikçe kandırabilecek bir şekilde sensöre karşı tutması gerekmektedir. Video tabanlı saldırılar için ise belli bir süre sensör karşısında hareket etmek gerekmektedir. Bu zaman alan ve oldukça maliyetli olan saldırı görüntülerinin toplanması kolay olmadığı için herkese açık olarak sunulan sunum saldırı tespiti veri kümeleri hem veri sayısı hem de kişi sayısı bakımından oldukça sınırlı kalmaktadır. Bu sınırlı veri kümeleri ile eğitilen yapay sinir ağı tabanlı sunum saldırı tespiti sistemleri ise az sayıda verilen veriyi çok iyi öğrenirken, veri kümesi dışından gelen saldırılara başarılı karşılık verememektedir. Özellikle sunum saldırı tespiti alanında bu aşırı öğrenme problemi, çözülmeye çalışılan en büyük sorunlardan biri olarak karşımıza çıkmaktadır. Kısıtlı veri ile eğitilen sistemlerin bir diğer sorunu ise daha önce görülmemiş bir saldırı çeşidine karşı cevap verememektir. Örneğin sadece belli bir silikon maske tipiyle oluşturulmuş 3 boyutlu maske saldırılarını içeren bir veri kümesinde eğitilen bir sistem, reçineden veya 3 boyutlu yazıcıdan çıkartılmış bir maske saldırısına iyi cevap verememektedir. Sunum saldırı tespitinde var olan bu aşırı öğrenme ve genelleştirilememe problemini çözmek için sayısız çalışma yapılmıştır. Veri kümelerinin sayılarını artırmak zor ve maliyetli olduğundan dolayı daha çok yapay sinir ağlarının geliştirilmesine odaklanılmıştır. Bu tezde sunulan yöntem de aynı soruna farklı bir açıdan bakarak, elde bulunan verilerin en iyi şekilde sentezlenerek eğitilen modellerin daha genelleştirilebilir olmasını sağlamaktadır. Alandaki birçok çalışma modellerini eğitirken bir yüz imgesi ve bu imgenin ait olduğu sınıf etiketini kullanarak ikili sınıflandırma yapmaktadır. Bu çalışmaların aksine ikili sınıflandırmayı piksel seviyesinde yapan DeepPixBis adlı yapay sinir ağı ise verilen imgenin sınıfını piksel seviyesinde göstererek, sunum saldırı tespiti başarımlarını oldukça yükseltmiştir. Bu tezde de DeepPixBis modeline verilen girdi imgeleri ve etiketler değiştirilerek eğitim yapılacak imge sayısı artırılmaya çalışılmış ve önerilen yöntemin genelleştirmeyi ciddi bir düzeyde artırdığı gösterilmiştir. Bu tezde sunduğumuz yöntem verilen sunum saldırı veri kümesindeki bulunan tüm yüzleri ufak yamalara ayırarak yama tabanlı bir tespit yapmaya çalışmaktadır. Her bir yüz imgesi 49 tane küçük yamaya bölündükten sonra her bir yama için imgenin etiketi, yamanın etiketi olarak atanmaktadır. Daha sonra alandaki diğer çalışmalardan farklı bir şekilde hem saldırı hem de gerçek yüz yamaları tek bir imge haline getirilmek üzere karıştırılmıştır. Bu işleme yama dikimi adı verilmekte ve yama dikimi iki farklı şekilde gerçekleştirilebilmektedir. Birinci yöntem yüz şeklini korurken, ikinci yöntemde yüz şeklini dikkate almadan dikim gerçekleştirilir. Yüz şeklini koruyarak yapılan dikim işleminde farklı kişilerin hem saldırı hem de gerçek yamalarının alındığı yüz parçası dikkate alınarak birleştirildiği için, dikim işlemi sonunda ortaya yüzü andıran bir imge çıkmaktadır. Lakin bu imge 49 farklı yüz yamasından oluşmaktadır, bu yüzden de içinde hem gerçek hem saldırı imgelerinin parçalarını içeren bir karışımdır. İkinci yöntem olan rastgele dikimde ise herhangi bir yüz şekli dikkate alınmadan rastgele olarak dikilmektedir. Dikim işleminin modele sağladığı katkı ise, yapay sinir ağının spesifik sunum saldırı izlerine odaklanmayıp verilen küçük yüz yamalarından bile sunum saldırısı olup olmadığını öğrenebilmesidir. Bunun yanında her yüzden 49 yama alındığı ve bu yamalar tamamen rastgele olarak birleştirildiği için çok yüksek sayıda eğitim verisi oluşturulabilmektedir. Böylece kısıtlı imge sayısı bulunan veri kümelerinin üzerinde bile eğitim sağlamak mümkün olabilmektedir. Ayrıca yüz yapısını bozarak yapılan eğitimlerin farklı veri kümelerinde yapılan deneylerde performansa katkı sağladığı gösterilmiştir. Alanda kabul görmüş test veri kümeleri üzerinde yapılan deneyler sonucunda önerdiğimiz DPS-PAD (Derin Yama Gözetimli Sunum Saldırı Tespiti) yöntemi sadece girdi imgelerinin farklı yamalardan birleştirilmesi sayesinde verilen herhangi bir sunum tespit sisteminin başarısını dikkate değer şekilde artırmıştır. Ayrıca önerilen yöntem herhangi bir yapay sinir ağı tabanlı modele uygulanabildiği için de oldukça kullanışlıdır. Alandaki kabul görmüş test veri kümeleri daha çok laboratuvar ortamında kontrollü olarak oluşturulduğu için, günlük hayattaki şartları taklit etmeye çalışan ve kontrolsüz ortamdan toplanan verilerle Sodec Real-World veri kümesi oluşturulmuştur. Yapılan deneylerle beraber sunduğumuz yöntemin daha çok genelleştirmeye ihtiyaç duyan kontrolsüz ortamdaki verilerle test edildiği başarılı olduğu gösterilmiştir. Bu testlerde alandaki en iyi performanslı modellerden daha başarılı olduğu gösterilmiştir.

Özet (Çeviri)

Face recognition systems have been one of the most commonly used biometrics in various different applications, such as mobile payments, smart phone security, and accessing to high-security areas. However, face presentation attacks created by people who obtain biometric data covertly from a person or through hacked systems are among the major threats to face recognition systems. Presentation attacks are easy to make, especially for face presentation attacks, as malicious individuals only need a high-quality face image of any enrolled user to bypass the biometric system. In order to detect these attacks, Convolutional Neural Network (CNN) based systems have gained significant popularity recently. Convolutional Neural Networks provide end-to-end systems for presentation attacks. They also offer fast inference, which is helpful for the biometric systems. However, CNN-based systems need a substantial amount of data to train. It is hard to acquire presentation attacks as for each attack, a human should physically attack to the sensor. Unlike face recognition datasets that utilize millions of face images crawled from the internet, presentation attacks have to be captured explicitly for the dataset. Therefore, publicly available datasets are significantly smaller. As neural networks require massive amount of data to generalize, CNN-based presentation attack detection systems perform very well on intra-dataset experiments. Yet, they fail to generalize to the datasets that they have not been trained on. This indicates that they tend to memorize dataset-specific spoof traces. To mitigate this crucial problem, we propose a new presentation attack detection training approach that combines pixel-wise binary supervision with patch-based Convolutional Neural Networks. We call our method as Deep Patch-wise Supervision Presentation Attack Detection (DPS-PAD). %Our method can be seen as an augmentation method as it only changes how inputs are created. The proposed method combines different patches of different attacks and bona fide images of the dataset and creates a new training data this way. Our experiments show that the proposed patch-based method forces the model not to memorize the background information or dataset-specific traces. We extensively tested the proposed method on widely used presentation attack detection datasets ---Replay-Mobile, OULU-NPU--- and on a real-world dataset that has been collected for real-world presentation attack detection use cases. The proposed approach is found to be superior in challenging experimental setups. Namely, it achieves higher performance on OULU-NPU Protocol 3, 4 and on inter-dataset real-world experiments.

Benzer Tezler

  1. Tez No

    633413

    Detection of presentation attacks for face recognition systems

    Yüz tanıma sistemlerinde yanıltma ataklarının tespiti

    MEHMET FATİH GÜNDOĞAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ÇİĞDEM EROĞLU ERDEM

  2. Tez No

    885969

    Face presantation attack detection by deep learning

    Derin öğrenme ile yüz sunum saldırı tespiti

    MUHAMMED SELAMCIOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolManisa Celal Bayar Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUHAMMET GÖKHAN ERDEM

  3. Tez No

    714363

    A friendly physical layer warden system

    Dost bir fiziksel katman bekçi sistemi

    MİRAÇ KUMRAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT

  4. Tez No

    814100

    Investigation of shade features under ir illumination for facial biometric authentication systems

    Yüz biyometrik doğrulama sistemleri için kızılötesi aydınlatma altında gölge özelliklerinin araştırılması

    MEHMET ALİ OSMAN ATİK

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAkdeniz Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA BERKAY YILMAZ

  5. Tez No

    424575

    Migrende ürotensin-II Thr21Met ve Ser89Asn polimorfizmlerinin incelenmesi

    Investigation of the urotensin-II gene Thr21Met ve Ser89Asn polymorphisms in migraine

    BETÜL OZAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    FizyolojiGaziantep Üniversitesi

    Fizyoloji Ana Bilim Dalı

    DOÇ. DR. ŞENİZ DEMİRYÜREK

Geri Dön