Geri Dön

Öz denetimli öğrenme yaklaşımları ile derin sahte ses ve görüntü maniplasyonunun tespiti

Detection of deepfake audio and image manuplation with self-supervised learning approach

PDF İndir

  1. Tez No: 957056
  2. Yazar: MERVE YILDIRIM
  3. Danışmanlar: PROF. DR. İLHAN AYDIN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Fırat Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Yazılım Bilim Dalı
  13. Sayfa Sayısı: 70

Özet

Derin sahte teknolojisi, ses ve görüntü manipülasyonları yoluyla hızla yaygınlaşan ve ciddi güvenlik riskleri taşıyan bir tehdit unsuru haline gelmiştir. Bu tür sahte içeriklerin tespiti, medya güvenilirliğinin korunması ve sahte içeriklerin toplum üzerindeki olumsuz etkilerinin önlenmesi açısından kritik bir öneme sahiptir. Bu tez çalışmasında, derin öğrenme tabanlı iki farklı yaklaşım kullanılarak derin sahte video içeriklerinin tespiti amaçlanmıştır. İlk yaklaşımda öz-denetimli bir yöntem uygulanmıştır. Bu yöntemde,“deepfake-and-real-images”veri seti kullanılarak, ResNet18 tabanlı bir RotationNet modeliyle görüntülerin döndürülme açısını tahmin etmeye yönelik ön eğitim gerçekleştirilmiş, sonrasında bu modelin özellik çıkarıcı katmanları sabitlenerek gerçek/sahte sınıflandırması için ince ayar yapılmıştır. İkinci yaklaşımda ise çoklu modaliteye dayalı bir derin öğrenme yaklaşımı önerilmektedir. Çalışmada, yaygın olarak kullanılan DeepFake Detection Challenge veri setinden alınan videolar kullanılmıştır. Önerilen yöntemde, video akışlarından yüz görüntülerinin elde edilmesi için MTCNN tabanlı bir yüz tespit ve hizalama yöntemi kullanılmıştır. Bu yüz görüntüleri, daha sonra CNN ve LSTM tabanlı modele girdi olarak verilmiştir. Ses akışlarından çıkarılan Mel spektrogramları ise bir CNN tabanlı modelle analiz edilmiştir. Her iki modaliteden elde edilen özellikler ile bu özelliklerin birleşimini işleyen görsel-işitsel füzyon modeli geliştirilmiştir. Görüntü, ses ve füzyon modellerinden elde edilen tahminler, öğrenilebilir ağırlıklarla birleştirilerek bir ensemble model oluşturulmuş ve nihai karar bu model üzerinden verilmiştir. Yapılan deneysel çalışmalar sonucunda, geliştirilen öz-denetimli yaklaşımın derin sahte videoları, %88.89 doğruluk, %83.15 geri çağırma ve %88.10 F1 skoru ile tespit ettiği gözlenmiştir. Çok modlu modelin ise %92.17 doğruluk, %90.36 geri çağırma ve %92.02 F1 skoru ile başarılı bir şekilde tespit edebildiği gözlemlenmiştir. Bu çalışmalar, kullanılan yöntemlerin derin sahte tespitindeki etkinliğini ortaya koyarak, bu alandaki çalışmalara katkı sunmayı hedeflemektedir.

Özet (Çeviri)

Deepfake technology has become a rapidly spreading threat through audio and video manipulations and poses serious security risks. Detection of such fake content is of critical importance in terms of preserving media credibility and preventing the negative effects of fake content on society. In this thesis, it is aimed to detect deepfake video content using two different deep learning-based approaches. In the first approach, a self-supervised method is applied. In this method, pre-training is performed to estimate the rotation angle of the images with a ResNet18-based RotationNet model using the“deepfake-and-real-images”dataset, and then the feature extractor layers of this model are fixed and fine-tuned for real/fake classification. In the second approach, a multi-modality deep learning approach is proposed. In the study, videos taken from the widely used DeepFake Detection Challenge dataset are used. In the proposed method, an MTCNN-based face detection and alignment method is used to obtain face images from video streams. These face images are then given as input to the CNN and LSTM-based model. Mel spectrograms extracted from audio streams were analyzed with a CNN-based model. An audiovisual fusion model was developed that processes features derived from both modalities and their combination. Predictions from the image, audio, and fusion models were combined with learnable weights to create an ensemble model, and the final decision was made based on this model. As a result of the experimental studies, it was observed that the developed self-supervised approach detected deepfake videos with 88.89% accuracy, 83.15% recall and 88.10% F1 score. It was observed that the multimodal model could successfully detect 92.17% accuracy, 90.36% recall and 92.02% F1 score. These studies aim to contribute to the studies in this field by revealing the effectiveness of the methods used in deepfake detection.

Benzer Tezler

  1. Tez No

    716926

    Self-supervised deep convolutional neural network training for low-dose CT reconstruction

    Düşük dozlu BT geriçatması için derin evrişimli sinir ağlarının öz denetimli eğitimi

    MEHMET OZAN ÜNAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İSA YILDIRIM

  2. Tez No

    955401

    Elektrikli araçların kullanıcı tercihlerine göre sınıflandırılması: hibrit bir yaklaşım

    Classification of electric vehicles based on user preference: a hybrid approach

    MEHMET DEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. UMUT ASAN

  3. Tez No

    822215

    Self- and weakly- supervised deep learning methods with applications in biometric and biomedical data

    Kendinden- ve zayıf- denetimli derin öğrenme yöntemleri ile biyometri ve biyomedikal verilerdeki uygulamaları

    MEHMET CAN YAVUZ

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Mühendislik ve Doğa Bilimleri Ana Bilim Dalı

    PROF. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT

  4. Tez No

    395696

    Öğretmen adaylarının eğitsel internet kullanım öz-yeterlik inançları ile öğrenme yaklaşımları arasındaki ilişki

    The relationship between pre-service teachers' self-efficacy beliefs related to educational internet usage and their learning approaches

    SIDDIK DOĞRULUK

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    Eğitim ve ÖğretimKahramanmaraş Sütçü İmam Üniversitesi

    Enformatik Ana Bilim Dalı

    YRD. DOÇ. DR. ORHAN ERCAN

  5. Tez No

    914681

    Exploring design based learning activities in 2nd grade science classrooms

    2. sınıf bilim sınıflarında tasarım tabanlı öğrenme aktivitelerinin keşfedilmesi

    ÖZLEM YAPRAK BOSTANCI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    Eğitim Programları ve Öğretimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ELİF ÖZTÜRK

Geri Dön