Generalizable face forgery detection with metric learning and domain-adversarial training
Metrik öğrenme ve alan-çekişmeli eğitim ile genelleştirilebilir yüz sahteciliği tespiti
- Tez No: 941232
- Danışmanlar: PROF. DR. UĞUR GÜDÜKBAY, DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
Derin üretken ağlar ile üretilen sahte yüz görüntülerinin giderek daha gelişmiş hale gelmesiyle dijital medyadaki manipülasyonların tespiti önemli ölçüde güçleşmektedir. Bu durum dijital medya güvenilirliğini korumanın ve görsel dezenformasyonla mücadele etmenin önemini vurgulamaktadır. Hâlihazırda kullanılan tespit modelleri, ağırlıklı olarak belirli bir alana özgü verilerle denetimli eğitime dayanmakta olup daha önce karşılaşılmamış tekniklerle üretilen sahte görüntüler karşısında genellikle daha düşük performans göstermektedir. Bu probleme karşı, çeşitli sahtecilik yöntemlerine uyum yeteneğine sahip bir Siyam ağı mimarisiyle üçlü öğrenmeyi kullanan bir yüz sahteciliği tespit yaklaşımı Trident'ı sunuyoruz. Trident, gerçek örnekleri manipüle edilmiş olanlardan ayıran hassas özellikleri yakalamak üzere eğitilmiştir. Bu süreçte, nüans farklarını izole ederken diğer değişkenleri korumaya yönelik oluşturulmuş üçlüler kullanılmaktadır. Aynı zamanda, yöntemimizin genelleme yeteneğini daha da artırmak üzere çekişmeli olarak eğittiğimiz Sahtecilik Ayırt Edicisini sunmaktayız. Bu rekabetçi bileşen, özellik çıkaran modelimizi belirli bir sahtecilik yönteminden bağımsız olarak, daha önce görülmemiş manipülasyonlara daha dirençli hale getirmektedir. Buna ek olarak sınıflandırıcı bileşene gradyan akışını önleyerek belirli sahtecilik türlerine özgü olan aşırı uyumlanmayı önlüyoruz. Çeşitli test veri setleri üzerinde yapılan kapsamlı değerlendirmeler ve ayrıştırma çalışmaları, yöntemimizin etkinliğini ortaya koymaktadır.
Özet (Çeviri)
As face forgeries generated by deep neural networks become increasingly sophisticated, detecting face manipulations in digital media has posed a significant challenge, underscoring the importance of maintaining digital media integrity and combating visual disinformation. Current detection models, predominantly based on supervised training with domain-specific data, often falter against forgeries generated by unencountered techniques. In response to this challenge, we introduce Trident, a face forgery detection framework that employs triplet learning with a Siamese network architecture for enhanced adaptability across diverse forgery methods. Trident is trained on curated triplets to isolate nuanced differences of forgeries, capturing fine-grained features that distinguish pristine samples from manipulated ones while controlling for other variables. To further enhance generalizability, we incorporate domain-adversarial training with a Forgery Discriminator. This adversarial component guides our embedding model towards forgery-agnostic representations, improving its robustness to unseen manipulations. In addition, we prevent gradient flow from the classifier head to the embedding model, avoiding overfitting induced by artifacts peculiar to certain forgeries. Comprehensive evaluations across multiple benchmarks and ablation studies demonstrate the effectiveness of our framework.
Benzer Tezler
- Multi-modal learning with generalizable nonlinear dimensionality reduction
Genellenebilir doğrusal olmayan boyut düşürme ile çoklu modalite öğrenme
SEMİH KAYA
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ELİF VURAL
- Derin öğrenme ile kıyı alanlarının spektral ve dokusal değişkenlere göre belirlenmesi
Determination of coastal areas based on spectral and textural variables using deep learning methods
OSMAN İSA ÇELİK
Doktora
Türkçe
2025
Deniz Bilimleriİstanbul ÜniversitesiDenizel Çevre Ana Bilim Dalı
PROF. DR. CEM GAZİOĞLU
- Hybrid beamforming techniques for millimeter-wave MIMO systems
Milimetre dalga MIMO sistemleri için hibrit hüzme oluşturma teknikleri
LIZA AFEEF OMAR SHEHAB EL DIN
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Medipol ÜniversitesiElektrik-Elektronik Mühendisliği ve Siber Sistemler Ana Bilim Dalı
PROF. DR. HÜSEYİN ARSLAN
- Investigation of novel topological indices and their applications in organic chemistry
Yeni topolojik indekslerin araştırılması ve organik kimyadaki uygulamaları
SELÇUK GÜMÜŞ
- Şanlıurfa ilinde badem üretiminin sosyo-ekonomik analizi
Socio-economic analysis of almond production in the province of şanliurfa
FATMA DURAP
Yüksek Lisans
Türkçe
2025
EkonomiHarran ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖNÜL SEVİNÇ