Face manipulation detection
Yüz manipülasyonu tespiti
- Tez No: 830754
- Danışmanlar: DOÇ. DR. SHERVIN RAHIMZADEH ARASHLOO
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenmedeki ilerlemeler, son derece gerçekçi sahte insan yüzlerinin yaratılmasını kolaylaştırdı ve deepfake çağını başlattı. Bu kadar inandırıcı derecede orijinal sahte içerik üretme potansiyeli, hem bireylere hem de toplumlara verebileceği potansiyel zarar nedeniyle endişelere yol açıyor. Mevcut çalışmalar ağırlıklı olarak gerçek ve sahte görseller veya videolar arasında ayrım yapan ikili yaklaşımlara odaklanmaktadır. Ancak bu yaklaşım zaman alıcı olabilir ve eğitim için çok sayıda farklı sahte örnek gerektirebilir. Ayrıca, farklı modeller kullanılarak oluşturulan benzersiz deepfake içeriği tespitten kaçabilir ve bu da tüm deepfake'lerin yakalanmasını zorlaştırabilir. İki potansiyel çözüm öneriyoruz. İlk olarak, yalnızca gerçek veriler üzerinde eğitim veren ve hem gerçek hem de sahte veriler üzerinde testler yapan saf bir yaklaşım olan tek sınıflı bir sınıflandırma yöntemi öneriyoruz. İkincisi, saf olmayan bir yaklaşım olarak çapraz manipülasyon tekniğinin kullanılması; bu, makine öğrenimi modelinin eğitimi sırasında görünmeyen/bilinmeyen manipüle edilmiş örneklerin kullanımına görüntü manipülasyonlarının uygulanması anlamına gelir. Bu süreçteki etkinlik, derin sahtekarlıkların tespitini artıran farklı modellerin bir kombinasyonu kullanılarak elde edilebilir. Bu, $\ell_p$-norm kısıtlamasını içeren öğrenme tabanlı sistemleri ayarlanabilir p-norm kurallarıyla birleştirerek yapılır, böylece topluluk öğreniminde tabanlı öğrenenler arasındaki ayrımcı bilgileri geliştirmek için hem seyrek hem de seyrek olmayan çözümler sağlanır. Derin sahte tespitte kullanılan geleneksel konudan bağımsız öğrenme yöntemlerinin aksine, konuya bağlı bir öğrenme yaklaşımı öneriyoruz. İlk bulgularımız, bu çok yönlü yaklaşımın deepfake'leri etkili bir şekilde tespit edebildiğini, FaceForensics++ veri setinin yanı sıra UCI ve Keel veri setlerini de içeren genel tek sınıf sınıflandırma veri setlerinde hem saf hem de saf olmayan yaklaşımlarda etkileyici sonuçlar ortaya koyduğunu gösteriyor.
Özet (Çeviri)
Advancements in deep learning have facilitated the creation of highly realistic counterfeit human faces, ushering in the era of deepfakes. The potential to generate such convincingly authentic fake content prompts concerns due to the potential harm it could inflict on individuals and societies alike. Current studies predominantly focus on binary approaches that differentiate between real and fake images or videos. However, this approach can be time-consuming, requiring a multitude of diverse fake examples for training. Furthermore, unique deepfake content generated using different models may elude detection, making it challenging to apprehend all deepfakes. We propose two potential solutions. First, we suggest a one-class classification method, a purist approach that trains solely on real data and tests on both real and fake data. Second, using a cross-manipulation technique as a non-purist approach, which refers to the application of image manipulations to a use unseen/unknown manipulated samples during the training of the machine learning model. Efficacy in this process can be achieved by using a combination of different models, which enhances the detection of deep fakes. This is done by merging learning-based systems involving an $\ell_p$-norm constraint with adjustable p-norm rules, thereby providing both sparse and non-sparse solutions to enhance discriminatory information between based learners in ensemble learning. Contrary to conventional subject-independent learning methods employed in deep fake detection, we propose a subject-dependent learning approach. Our preliminary findings suggest that this multifaceted approach can effectively detect deepfakes, demonstrating impressive results on the FaceForensics++ dataset as well as on generic one-class classification datasets including the UCI, and Keel datasets in both pure and non-pure approaches.
Benzer Tezler
- Muhasebe manipülasyonu ve muhasebe manipülasyonunun tespitine yönelik Borsa İstanbul'da bir araştırma
A research on accounting manipulation and detection of accounting manipulation in Borsa Istanbul
BİLGE ARIKAN
Yüksek Lisans
Türkçe
2024
İşletmeKaramanoğlu Mehmetbey Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. MUSTAFA MORTAŞ
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Görüntü manipülasyonlarının derin öğrenme yaklaşımı ile belirlenmesi
Detection of image manipulations with deep learning approach
SEMİH YAVUZKILIÇ
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiFırat ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULKADİR ŞENGÜR
- Impact of stylization on deep face recognition networks using digital images
Dijital görüntüler kullanılarak derin yüz tanıma ağları üzerinde stilizasyonun etkisi
MOHAMMED BASIM MOHAMMED MOHAMMED
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKUT ARICAN
- Deepfake video analysis and detection
Deepfake video analizi ve tespiti
FARMANUDDIN FARMAN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÇAĞRI ŞAHİN