Deep fake image detection based on deep learning using a hybrid CNN-LSTM with machine learning architectures as classifier
Makine öğrenme mimarileri kullanılarak hibrid CNN-LSTM ile derin öğrenmeye dayalı deep fake görüntü tespiti
- Tez No: 883980
- Danışmanlar: DOÇ. DR. SEFER KURNAZ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Altınbaş Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 132
Özet
Dijital çağda, derin sahte (deep fake) teknolojisinin yaygınlaşması, medya, politika ve güvenlik gibi çeşitli alanlarda güveni ve özgünlüğü zayıflatarak önemli bir tehdit haline gelmiştir. Bu tez, derin sahte görüntülerin bulunması için yeni bir derin öğrenme mimarisi sunmaktadır. Bu mimari, Convolutional Neural Network (CNN) ve Long Short-Term Memory (LSTM) ağlarını birleştiren bir çerçevede transfer öğrenmenin avantajlarını kullanmaktadır. Hibrit modelimiz, CNN'lerin mekansal özellik çıkarma yeteneklerini LSTM'lerin zamansal dizi analizi yetenekleriyle birleştirmektedir. Amacımız, derin sahte tespitini daha doğru ve güvenilir hale getirmektir. Model, Python programlama dili kullanılarak geliştirilmiş ve iki büyük veri kümesinde eğitilmiştir: DFDC veri kümesi ve Ciplab veri kümesi, her biri 19.148 gerçek ve 19.148 derin sahte görüntü içeren dengeli bir koleksiyon. Ön işleme sırasında, tüm görüntüler eğitim verimliliğini optimize etmek için 128 × 128 piksel çözünürlüğe standartlaştırılmıştır. Eğitim sürecinde, sınıflandırma hatalarını yinelemeli olarak en aza indirmek için ikili çapraz-entropy kayıp fonksiyonu kullanılmıştır. Deneylerimiz, hibrit CNN-LSTM modelimizin çok istikrarlı olduğunu göstermektedir. DFDC veri kümesinde %97,32, Ciplab veri kümesinde %98,24 doğruluk oranları ve sırasıyla %0,15 ve %0,26 gibi düşük hata oranları ile şaşırtıcı sonuçlar elde edilmiştir. Bu sonuçlar, modelin düşük bir yanlış pozitif oranını korurken derin sahte görüntüleri etkili bir şekilde tanımlama yeteneğini vurgulamaktadır. Modelin başarısı, manipülatif eserleri gösteren görsel anormallikleri tespit etmek için CNN'leri ve görüntü dizileri içindeki zamansal bağımlılıkları yakalamak için LSTM'leri kullanma yeteneğine bağlanmaktadır. Sonuç olarak, bu tez, dikkate değer doğruluk ve sağlamlık sağlayan benzersiz bir hibrit CNN-LSTM mimarisi sunarak derin sahte tespit alanına önemli bir katkı yapmaktadır. Önerilen model, CNN'lerin ve LSTM'lerin güçlü yönlerini birleştirerek tespit performansını ve güvenilirliğini artırmaktadır. Bu, derin sahte teknolojisinin neden olduğu sorunlarla başa çıkmak için esnek ve etkili bir yol sunmaktadır.
Özet (Çeviri)
n the digital age, the proliferation of deep fake technology has emerged as a significant threat, undermining trust and authenticity across various domains, including media, politics, and security. This thesis presents a new deep learning architecture for finding deep fake images. It uses the benefits of transfer learning in a framework that combines a Convolutional Neural Network (CNN) and a Long Short-Term Memory (LSTM) network. Our hybrid model combines the spatial feature extraction skills of CNNs with the temporal sequence analysis skills of LSTMs. The goal is to make deep fake detection more accurate and reliable. The model was developed using the Python programming language and trained on two substantial datasets: the DFDC dataset and the Ciplab dataset, comprising a balanced collection of 19,148 authentic and 19,148 deep fake images. During preprocessing, all images were standardized to a resolution of 128 × 128 pixels to optimize training efficiency. The training process employed the binary cross-entropy loss function to minimize classification errors iteratively. Our experiments show that our hybrid CNN-LSTM model is very stable. It got amazing results with accuracies of 97.32% on the DFDC dataset and 98.24% on the Ciplab dataset, with error rates as low as 0.15% and 0.26%, respectively. These results underscore the model's ability to effectively identify deep fake images while maintaining a low false positive rate. The model's success is attributed to its ability to leverage CNNs for detecting visual anomalies indicative of manipulative artifacts and LSTMs for capturing temporal dependencies within the image sequences. In conclusion, this thesis makes a significant contribution to the field of deep fake detection by presenting a unique hybrid CNN-LSTM architecture that achieves remarkable accuracy and robustness. The suggested model combines the strengths of CNNs and LSTMs to improve detection performance and reliability. It is a flexible and effective way to deal with the problems caused by deep fake technology.
Benzer Tezler
- Satellite images super resolution using generative adversarial networks
Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük
MARYAM SERDAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Deepfake image/video detection and classifications using deep learning techniques
Derin öğrenme teknikleri kullanılarak deepfake görüntü/video tespiti ve sınıflandırmaları
DEO RUTIKANGA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk Hava Kurumu ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ZEYNEL DEPREM
- Face manipulation detection
Yüz manipülasyonu tespiti
SEPEHR NOURMOHAMMADI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SHERVIN RAHIMZADEH ARASHLOO
- Derin öğrenme ile görüntü sahtecilik tespiti
Image forgery detection with deep learning
ELNUR OSMANOV
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOSTİM TEKNİK ÜNİVERSİTESİYazılım Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İCLAL ÇETİN TAŞ
- Studying deep learning models for manipulated face detection
Sahte yüz tespiti için derin öğrenme modellerinin araştırılması
ILKIN HUSEYNLI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SONGÜL VARLI