Federated learning based face presentation attack detection
Federe öğrenme tabanlı yüz sunumu yanıltma atağı tespiti
- Tez No: 1022081
- Danışmanlar: PROF. DR. ÇİĞDEM EROĞLU ERDEM, DOÇ. DR. ÖMER KORÇAK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yüz tanıma ve doğrulama sistemleri; biyometrik kimlik doğrulama, sınır kapısı kontrolü ve güvenli erişim yönetimi gibi kritik altyapılarda giderek yaygınlaşmaktadır. Bu sistemlerin temel güvenlik açığı, yetkisiz kişilerin basılı fotoğraf, video yeniden oynatma veya 3 boyutlu maske gibi aldatma araçları kullanarak sistemi atlatmaya çalıştığı yüz sunumu yanıltma saldırılarıdır. Derin öğrenme tabanlı yüz sunumu yanıltma saldırısı tespiti (FPAD) yöntemleri tek bir veri kümesi üzerinde yüksek başarı gösterse de farklı çekim koşulları, kamera karakteristikleri ve saldırı türlerinden kaynaklanan dağılım kayması nedeniyle veri kümeleri arası genellemeleri sınırlı kalmaktadır. Veri çeşitliliğini artırmanın doğal bir yolu, farklı kaynaklardan elde edilen veri kümelerini merkezi bir depoda bir araya getirmektir; ancak bu yaklaşım, biyometrik verilerin paylaşımını engelleyen gizlilik mevzuatı ve yüksek veri etiketleme maliyetleri nedeniyle pratikte çoğu zaman uygulanabilir değildir. Bu tez, merkezi veri paylaşımı gerektirmeksizin dağıtık FPAD kümelerini bütünleştiren Fed-StackFPAD çerçevesini önermektedir. Çerçeve; federe öğrenme ile birleştirilmiş öz-denetimli ön eğitimli görsel dönüştürücü (ViT) kodlayıcısı ve yığın tabanlı topluluk öğrenmesinden oluşan üç aşamalı bir mimariye dayanmaktadır. Birinci aşamada, büyük ölçekli ImageNet-22K veri kümesi üzerinde maskeli otomatik kodlayıcı (MAE) ile ön eğitilmiş ViT-MAE modeli federe öğrenme çerçevesinde çok sayıda veri merkezine dağıtılarak ince ayar yapılmaktadır. İkinci aşamada her veri merkezi, kendi yerel veri kümesi üzerinde alana özgü bir model geliştirmektedir. Üçüncü aşamada ise federe küresel modelin ve yerel modellerin çıktı olasılıkları, bir destek vektör makinesi (SVM) meta-sınıflandırıcısının girişini oluşturan yığınlama özellik matrisine dönüştürülmektedir. Temel görünüm tabanlı federe çerçevenin üzerine, her biri bağımsız bir uzman olarak yığınlama topluluğuna dahil edilen üç tamamlayıcı zamansal modalite eklenmiştir: i) Uzaktan fotopletismografi (rPPG) tabanlı fizyolojik özellikler, denetimli olmayan GREEN yöntemi ve denetimli EfficientPhys ile DeepPhys modelleri aracılığıyla çıkarılmış; zaman ve frekans alanı tanımlayıcıları hesaplanmıştır. ii) Optik akış tabanlı uzantıda, Farnebäck yoğun optik akış yöntemi kullanılarak ölçek normalleştirmeli hareket büyüklüğü istatistikleri, yönelim histogramları ve frekans alanı özellikleri içeren 36 boyutlu bir video düzeyi tanımlayıcı tasarlanmıştır. iii) Derinlik tabanlı uzantıda ise RGB karelerinden PRNet modeli yardımıyla yeniden oluşturulan sözde derinlik haritaları üzerinde optik akış betimleyicileri ve istatistiksel regresyon özellikleri elde edilmiştir. Dört ayrı FPAD kıyaslama veri kümesi üzerinde (Replay-Attack, MSU-MFSD, OULU-NPU, CASIA-FASD) gerçekleştirilen kapsamlı deneyler, Fed-StackFPAD'ın mevcut en iyi federe FPAD yöntemine (FedGPAD) kıyasla ortalama yarı toplam hata oranı (HTER) metrik değerini \%13,7 oranında düşürdüğünü ortaya koymaktadır. En başarılı çok modlu yapılandırma olan, optik akış ve derinlik tabanlı özellikleri kullanan Fed-StackFPAD, ortalama HTER değerini \%2,81'e indirmekte ve ortalama eğri altındaki alan (AUC) metrik değerini \%97,18'e yükseltmektedir. Bu çalışmanın temel katkıları; ViT-MAE kodlayıcısına dayalı üç aşamalı federe yığınlama çerçevesi, rPPG tabanlı fizyolojik özellik bütünleşmesi, bütünsel yüz bölgesi optik akış tanımlayıcısı ve sözde derinlik tabanlı modalite uzantısıdır. Sonuçlar, heterojen görünüm ve zamansal uzmanları birleştiren yığın tabanlı topluluk öğrenmesinin, ham veri paylaşımını gerektirmeksizin federe ortamlarda FPAD performansını etkin biçimde artırdığını doğrulamaktadır.
Özet (Çeviri)
Face recognition and verification systems are increasingly deployed in safety-critical applications including biometric authentication, border control, and secure access management. A fundamental vulnerability of these systems is the face presentation attack, in which an adversary attempts to bypass a liveness check using spoofing instruments such as printed photographs, video replays, or three-dimensional masks. While deep learning-based face presentation attack detection (FPAD) methods achieve high accuracy on individual benchmarks, their cross-dataset generalization is limited by distribution shift arising from differences in capture conditions, camera hardware, and attack types. Aggregating diverse training data from multiple sources into a centralized repository is a natural way to improve generalization, but privacy regulations governing biometric data and high annotation costs make this approach impractical in many real-world settings. This thesis proposes Fed-StackFPAD, a federated ensemble learning framework that integrates distributed FPAD datasets without requiring centralized data sharing. The framework is built on a three-phase architecture combining a self-supervised pretrained Vision Transformer (ViT) encoder with federated learning and stacking-based ensemble learning. In Phase~1, a ViT encoder pretrained via a masked autoencoder (MAE) on ImageNet-22K is fine-tuned across multiple data centers through federated aggregation. In Phase~2, each data center develops a domain-specific local model on its private data. In Phase~3, the prediction probabilities of the federated global model and all local models are assembled into a stacking feature matrix consumed by an SVM meta-classifier. The base appearance-based federated framework is progressively extended with three complementary temporal modalities, each integrated as an independent expert into the stacking ensemble: i) Remote photoplethysmography (rPPG)-based physiological features are extracted using the unsupervised GREEN method and the supervised EfficientPhys and DeepPhys models, with time-domain and frequency-domain descriptors derived from the recovered physiological waveforms. ii) An optical flow-based extension computes a 36-dimensional video-level descriptor from scale-normalized motion magnitude statistics, orientation histograms, and frequency-domain aggregations using the Farneb\"{a}ck dense flow method applied over a landmark-defined whole-face region. iii) A depth-based extension reconstructs pseudo-depth frames from RGB inputs using the PRNet model and derives both optical flow descriptors and statistical regression features from the resulting depth sequences. Comprehensive experiments on four widely used FPAD benchmarks --- Replay-Attack, MSU-MFSD, OULU-NPU, and CASIA-FASD --- demonstrate that Fed-StackFPAD reduces the average HTER by 13.7\% compared to the state-of-the-art federated FPAD method FedGPAD. The best multimodal configuration, Fed-StackFPAD using optical flow and depth based features further reduce HTER, achieving an average HTER of 2.81\% and an average AUC of 97.18\%. The principal contributions of this work are: (i) a three-phase federated stacking ensemble framework built on a ViT-MAE encoder, (ii) integration of rPPG-based physiological liveness cues into the federated stacking paradigm, (iii) a whole-face dense optical flow descriptor pipeline for temporal motion modeling, and (iv) incorporating a pseudo-depth-based modality. The results confirm that stacking-based ensemble learning combining heterogeneous appearance and temporal experts effectively improves FPAD performance in federated settings without requiring raw data sharing.
Benzer Tezler
- Federe öğrenme tabanlı nesnelerin yapay zekası ile gözetim videolarında akıllı kalabalık analizi için anomali tespiti ve tahmini
Anomaly detection and prediction for intelligent crowd analysis with artificial intelligence of things based on federated learning in surveillance
SELEN GÜRBÜZ
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KARAKÖSE
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- SynergyGrids: Blockchain assisted peer-to-peer energy trading and prosumer management framework
SynergyGrids: Blokzincir destekli gorevdes enerji ticareti ve tuketici yonetim sistemi
FAIZAN SAFDAR ALI
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Prof. Dr. ÖZNUR ÖZKASAP
- Cluster-based scoring for malicious model detection in federated learning
Federe öğrenmede zararlı modellerin tespiti için kümeleme tabanlı skorlama
CEM ÇAĞLAYAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ARDA YURDAKUL
- A detailed performance analysis of IPFS-based decentralized federated learning
Başlık çevirisi yok
FATİH AKGÜÇ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ECE GELAL SOYAK