Öz denetimli öğrenme yaklaşımları ile derin sahte ses ve görüntü maniplasyonunun tespiti
Detection of deepfake audio and image manuplation with self-supervised learning approach
- Tez No: 957056
- Danışmanlar: PROF. DR. İLHAN AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yazılım Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin sahte teknolojisi, ses ve görüntü manipülasyonları yoluyla hızla yaygınlaşan ve ciddi güvenlik riskleri taşıyan bir tehdit unsuru haline gelmiştir. Bu tür sahte içeriklerin tespiti, medya güvenilirliğinin korunması ve sahte içeriklerin toplum üzerindeki olumsuz etkilerinin önlenmesi açısından kritik bir öneme sahiptir. Bu tez çalışmasında, derin öğrenme tabanlı iki farklı yaklaşım kullanılarak derin sahte video içeriklerinin tespiti amaçlanmıştır. İlk yaklaşımda öz-denetimli bir yöntem uygulanmıştır. Bu yöntemde,“deepfake-and-real-images”veri seti kullanılarak, ResNet18 tabanlı bir RotationNet modeliyle görüntülerin döndürülme açısını tahmin etmeye yönelik ön eğitim gerçekleştirilmiş, sonrasında bu modelin özellik çıkarıcı katmanları sabitlenerek gerçek/sahte sınıflandırması için ince ayar yapılmıştır. İkinci yaklaşımda ise çoklu modaliteye dayalı bir derin öğrenme yaklaşımı önerilmektedir. Çalışmada, yaygın olarak kullanılan DeepFake Detection Challenge veri setinden alınan videolar kullanılmıştır. Önerilen yöntemde, video akışlarından yüz görüntülerinin elde edilmesi için MTCNN tabanlı bir yüz tespit ve hizalama yöntemi kullanılmıştır. Bu yüz görüntüleri, daha sonra CNN ve LSTM tabanlı modele girdi olarak verilmiştir. Ses akışlarından çıkarılan Mel spektrogramları ise bir CNN tabanlı modelle analiz edilmiştir. Her iki modaliteden elde edilen özellikler ile bu özelliklerin birleşimini işleyen görsel-işitsel füzyon modeli geliştirilmiştir. Görüntü, ses ve füzyon modellerinden elde edilen tahminler, öğrenilebilir ağırlıklarla birleştirilerek bir ensemble model oluşturulmuş ve nihai karar bu model üzerinden verilmiştir. Yapılan deneysel çalışmalar sonucunda, geliştirilen öz-denetimli yaklaşımın derin sahte videoları, %88.89 doğruluk, %83.15 geri çağırma ve %88.10 F1 skoru ile tespit ettiği gözlenmiştir. Çok modlu modelin ise %92.17 doğruluk, %90.36 geri çağırma ve %92.02 F1 skoru ile başarılı bir şekilde tespit edebildiği gözlemlenmiştir. Bu çalışmalar, kullanılan yöntemlerin derin sahte tespitindeki etkinliğini ortaya koyarak, bu alandaki çalışmalara katkı sunmayı hedeflemektedir.
Özet (Çeviri)
Deepfake technology has become a rapidly spreading threat through audio and video manipulations and poses serious security risks. Detection of such fake content is of critical importance in terms of preserving media credibility and preventing the negative effects of fake content on society. In this thesis, it is aimed to detect deepfake video content using two different deep learning-based approaches. In the first approach, a self-supervised method is applied. In this method, pre-training is performed to estimate the rotation angle of the images with a ResNet18-based RotationNet model using the“deepfake-and-real-images”dataset, and then the feature extractor layers of this model are fixed and fine-tuned for real/fake classification. In the second approach, a multi-modality deep learning approach is proposed. In the study, videos taken from the widely used DeepFake Detection Challenge dataset are used. In the proposed method, an MTCNN-based face detection and alignment method is used to obtain face images from video streams. These face images are then given as input to the CNN and LSTM-based model. Mel spectrograms extracted from audio streams were analyzed with a CNN-based model. An audiovisual fusion model was developed that processes features derived from both modalities and their combination. Predictions from the image, audio, and fusion models were combined with learnable weights to create an ensemble model, and the final decision was made based on this model. As a result of the experimental studies, it was observed that the developed self-supervised approach detected deepfake videos with 88.89% accuracy, 83.15% recall and 88.10% F1 score. It was observed that the multimodal model could successfully detect 92.17% accuracy, 90.36% recall and 92.02% F1 score. These studies aim to contribute to the studies in this field by revealing the effectiveness of the methods used in deepfake detection.
Benzer Tezler
- Accelerated MRI sampling and reconstruction with reinforcement learning
Pekiştirmeli öğrenme ile hızlandırılmış MRG örnekleme ve geriçatımı
RURU XU
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. İLKAY ÖKSÜZ
- Tıbbi görüntülerin saçılım tabanlı öz-denetimli öğrenme ile bölütlenmesi
Medical image segmentation with scattering-based self-supervised learning
SERDAR ALASU
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHAMMED FATİH TALU
- Self-supervised deep convolutional neural network training for low-dose CT reconstruction
Düşük dozlu BT geriçatması için derin evrişimli sinir ağlarının öz denetimli eğitimi
MEHMET OZAN ÜNAL
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. İSA YILDIRIM
- Elektrikli araçların kullanıcı tercihlerine göre sınıflandırılması: hibrit bir yaklaşım
Classification of electric vehicles based on user preference: a hybrid approach
MEHMET DEMİR
Yüksek Lisans
Türkçe
2025
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. UMUT ASAN
- Image-based malware detection: Hybrid deep learning and entropy-aware self-supervised learning approaches
Görüntü tabanlı zararlı yazılım tespiti: Hibrit derin öğrenme ve entropi duyarlı öz-denetimli öğrenme yaklaşımları
ESRA EROĞLU DEMİRKAN
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT AYDOS
DOÇ. DR. ADEM TEKEREK