Deepfake detection through motion magnification inspired feature manipulation
Hareket büyütmesinden esinlenen öznitelik manipülasyonu ile derin sahtelerin tespiti
- Tez No: 763160
- Danışmanlar: YRD. DOÇ. DR. HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 61
Özet
Sentetik olarak oluşturulmuş medya içeriği, çevrimiçi alanda bilgi güvenliği için önemli bir tehdit oluşturmaktadır. Ünlülerin, politikacıların ve sıradan vatandaşların manipüle edilmiş videoları ve görüntüleri, yanlış beyan ve iftira amaçlıysa, kişinin itibarına ciddi zarar verebilir. Bu tür içeriğin erken tespiti, şüpheli bilgilerin hızlı yayılmasının zamanında önlenmesi için çok önemlidir. Geçtiğimiz yıllarda, önemli sayıda derin sahte algılama metodu, uzay-zaman tutarsızlıklarını ortaya çıkarma amacıyla, bir ön işleme adımı olarak, hareket büyütme teknolojisin kullanılabileceğini ileri sürdü. Fakat, sıklıkla kullanılan hareket büyütme metodları, sınırlı bir hareket kümesi için optimize edildiğinden ve etki alanlarının dışında kullanıldığında önemli görsel yapaylıklar gösterdiğinden, bu tür bir ön işleme yaklaşımı optimal değildir. Bu amaçla, hareket büyütmeyi ayrı bir işlem adımı olarak uygulamak yerine, bir CNN-LSTM sınıflandırma ağına, ek olarak eklenen, eğitilebilir, hareket büyütmeden esinlenen, öznitelik manipulasyonu unitesini test etmeyi öneriyoruz. Yaklaşımımızda, tam entegrasyondan ziyade, video sınıflandırma görevinde, hareket büyütme benzeri mimarilerin kullanımını anlamak için ilk adımları atmayı hedefliyoruz. Sonuçları DeepFakes sahte oluşturma yöntemini kullanarak oluşturulan, ve beş binden fazla sentetik video içeren Celeb-DF veri kümesinde test ediyoruz. Sonuçlarımızın tutarlılığını göstermek için aynı deneysel kurulumla birden fazla deney gerçekleştirerek ortalama doğruluğu sunuyoruz. Deneylerimizde, öznitelik manipulasyonu unitesini ağa dahil edildiğinde doğruluğun ortalama 3% artışlnı gözlemliyoruz.
Özet (Çeviri)
Synthetically generated media content poses a significant threat to information security in the online domain. Manipulated videos and images of celebrities, politicians, and ordinary citizens, if aimed at misrepresentation, and defamation can cause significant damage to one's reputation. Early detection of such content is crucial to timely alleviation of further spread of questionable information. In the past years, a significant number of deepfake detection frameworks have proposed to utilize motion magnification as a preprocessing step aimed at revealing transitional inconsistencies relevant to the prediction outcome. However, such an approach is sub-optimal since often utilized motion manipulation approaches are optimized for a limited set of controlled motions and display significant visual artifacts when used outside of their domain. To this end, rather than apply motion magnification as a separate processing step, we propose to test trainable motion magnification-inspired feature manipulation units as an addition to a convolutional-LSTM classification network. In our approach, we aim to take the first step at understanding the use of magnification-like architectures in the task of video classification rather than aim at full integration. We test out results on the Celeb-DF dataset which is composed of more than five thousand synthetically generated videos generated using DeepFakes fake generation method. We treat manipulation unit as another network layer and test the performance of the network both with and without it. To ensure the consistency of our results we perform multiple experiments with the same configurations and report the average accuracy. In our experiments we observe an average 3% jump accuracy when the feature manipulation unit is incorporated into the network.
Benzer Tezler
- An enhanced convolutional neural network for detecting deepfake videos
Deepfake videoları tespit etmek için geliştirilmiş evrişimli sinir ağı
SAADALDEEN RASHID AHMED AHMED
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRULLAH SONUÇ
- Derin öğrenme tabanlı deepfake algılama ve siber güvenlik: Toplum algısının incelenmesi
Deep learning-based deepfake detection and cybersecurity: A study on public perception
SUZAN AYDIN
Yüksek Lisans
Türkçe
2024
Yönetim Bilişim SistemleriHaliç ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DOÇ. DR. ZEKİ ÖZEN
- Deepfake teknolojisinin adli bilişimdeki yeri ve deepfake tespiti üzerine nicel bir çalışma
A quantitative study on the place of deepfake technology in computer forensics and deepfake detection
MAHMUT HİLMİ BAŞ
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar ÜniversitesiSiber Güvenlik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ŞENOL
- Attention-boosted CNNs for improved facial deepfake detection
Dikkat-destekli CNN'ler ile yüz tanimada geliştirilmiş derin sahtecilik tespiti
ALPEREN ENES BAYAR
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. CİHAN TOPAL
- Deepfakes in cybersecurity: A holistic and foundational ontology
Siber güvenlikte yapay montaj video: Bütünsel ve temel bir ontoloji
FAIZA KHALID
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. OĞUZHAN MENEMENCİOĞLU