Deepfake image/video detection and classifications using deep learning techniques
Derin öğrenme teknikleri kullanılarak deepfake görüntü/video tespiti ve sınıflandırmaları
- Tez No: 902017
- Danışmanlar: YRD. DOÇ. DR. ZEYNEL DEPREM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Deepfake Tespiti, Çok Görevli Kademeli Konvolüsyonel Ağlar (MTCNN), MobileNetV2, Özellik Çıkarma Tekniği, Görüntü Sınıflandırma, Deeplearning, deepfake Detection, Multi-task Cascaded Convolutional Networks (MTCNN), MobileNetV2, Artificial Neural Networks, MobileNetV2 Intermediate Feature Map Differencing Technique, Image Classification
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Türk Hava Kurumu Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 96
Özet
Deepfake teknolojisi, güçlü derin öğrenme tekniklerinden yararlanarak son derece gerçekçi sentetik medya oluşturur ve bu da gizlilik, güvenlik ve bilgi bütünlüğü açısından önemli tehditler oluşturur. Bu tez, Çok Görevli Kademeli Konvolüsyonel Ağlar (MTCNN) ve MobileNetV2'yi benzersiz bir özellik çıkarma tekniğiyle birleştiren yeni bir hibrit yaklaşım önererek deepfake'lerin etkili bir şekilde tespit edilmesi zorluğunu ele almaktadır. Literatür incelemesi, derin sahte tespit yöntemlerinin evrimini incelemekte ve Yapay Sinir Ağları (ANN'ler), Konvolüsyonel Sinir Ağları (CNN'ler) ve Üretici Çekişmeli Ağların (GAN'lar) sentetik medyayı tanımlamadaki kritik rolünü vurgulamaktadır. Geleneksel CNN tabanlı yöntemler etkili olmakla birlikte, yüksek kaliteli sahteciliklerin tespitinde, hesaplama verimliliğinin yönetilmesinde ve ince manipülasyonların ele alınmasında sınırlamalarla karşı karşıyadır. Bu zorluklar, yenilikçi yaklaşımlara olan ihtiyacı vurgulamaktadır. Önerilen yöntem, doğru yüz tespiti ve hizalaması için MTCNN'in sıralı entegrasyonunu ve ardından verimli görüntü sınıflandırması için MobileNetV2'yi içermektedir. MobileNetV2 içindeki özellik çıkarma tekniği, deepfake'leri gösteren bölgeye özgü anomalileri vurgulayarak tespit doğruluğunu artırır. Veri toplama süreci, Kaggle (Zenodo) üzerinden sağlanan 40.000 önceden işlenmiş görüntüden oluşan dengeli bir veri seti ve 42 görüntüden oluşan özel oluşturulmuş bir veri seti içerir, bu da çeşitli yüz görüntülerini ve manipülasyonlarını sağlamaktadır. Veri çeşitliliğini artırmak için veri artırma teknikleri uygulanmıştır. Deneysel değerlendirmeler, optimal performans ve tekrarlanabilirlik sağlamak için Google Colab ve yerel Jupyter Notebook ortamları kullanılarak gerçekleştirilmiştir. MobileNetV2 çıkarma tekniği, doğrulukta önemli iyileşmeler göstererek %98.71'e kadar ulaşmıştır. Hibrit yaklaşım, tespit doğruluğu, hesaplama verimliliği ve ölçeklenebilirlik zorluklarını etkili bir şekilde ele almaktadır. Bu tez, tespit doğruluğunu ve verimliliğini artıran sağlam bir çerçeve sağlayarak deepfake tespiti alanına önemli katkılarda bulunmaktadır. MTCNN ve MobileNetV2'nin entegrasyonu, özellik çıkarma tekniği ile desteklenerek, gerçek zamanlı uygulamalar için ölçeklenebilir ve pratik bir çözüm sunar ve çeşitli alanlarda görsel içeriğin bütünlüğünü ve özgünlüğünü sağlar. Gelecekteki araştırmalar, bu metodolojilerin daha da rafine edilmesine ve veri kümelerinin daha çeşitli ve zorlayıcı örnekleri içerecek şekilde genişletilmesine odaklanmalı, böylece deepfake teknolojisinin ilerleyen yeteneklerine karşı dijital medyanın güvenilirliğini korumalıdır. 1
Özet (Çeviri)
The development of deepfake technology, which employs the capability of deep learning to produce highly photorealistic fake media, poses serious challenges to privacy, security and information integrity. This thesis responds to this challenge by proposing a novel hybrid technique that merges MTCNN and MobileNetV2 with a feature differencing technique. The literature methodologies will consider the development of deepfake detection methods, focusing on Artificial Neural Networks (ANNs), Convolutional Neural Networks (CNNs) and Generative Adversarial Networks (GANs) as key discriminators of synthetic media. Conventional CNN-based approaches have limitations in terms of high-quality forgery identification, optimization for efficiency in computation and dealing with subtle modification. These indicate the importance of creative and original methods. Our proposed methodology involves MTCNN as a first stage for accurate face detection and alignment followed by MobileNetV2 for efficient image classification. The detection accuracy is improved using the feature differencing technique within MobileNetV2 highlighting region-specific anomalies indicating deepfakes. The data was collected from Kaggle (Zenodo) having been balanced dataset with 40,000 images pre-processed into uniform size then later 42 other images were created from scratch to ensure diversity in facial images plus manipulations. Dataset variability was increased using data augmentation techniques. The Experimental evaluations were carried out on the Google Colab platform and local Jupyter Notebook environments to ensure optimal performance and reproducibility. differencing technique with MobileNetV2 at around 98% of accuracy makes considerable improvements based on the results of these experiments, which encompassed several datasets. This thesis improves detection efficiency by making a strong model that raises its accuracy. This provides an approach where integration between MTCNN and MobileNetV2 combined with feature differencing technique can be employed at real-time applications while assuring visual content authenticity across multiple domains. As deepfake technology advances, future studies should investigate these methodologies further, while expanding datasets beyond generic and easy examples for ensuring trustworthiness of digital media.
Benzer Tezler
- Derin öğrenme algoritmalarını kullanarak deepfake video tespiti
Deepfake video detection using deep learningalgorithms
ŞAHİN KORKMAZ
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiAdli Bilişim Ana Bilim Dalı
PROF. DR. MUSTAFA ALKAN
- Face manipulation detection
Yüz manipülasyonu tespiti
SEPEHR NOURMOHAMMADI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SHERVIN RAHIMZADEH ARASHLOO
- Deepfake detection through motion magnification inspired feature manipulation
Hareket büyütmesinden esinlenen öznitelik manipülasyonu ile derin sahtelerin tespiti
AYDAMIR MIRZAYEV
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HAMDİ DİBEKLİOĞLU
- Evrişimsel sinir ağlarını kullanarak sahte yüz görüntülerinin tespit edilmesi
Detection of fake face images using convolutional neural networks
EMRE ŞAFAK
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NECAATTİN BARIŞÇI
- Derin öğrenme ile resim ve videolar üzerinde derin sahte tespiti
Deep fake detection on pictures and videos with deep learning
METİN BÜYÜKAVCILAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN ÇETİN