Deepfake tespiti için derin öğrenme tabanlı hibrit mimarilerin geliştirilmesi
Development of deep learning-based hybrid architectures for deepfake detection
- Tez No: 933875
- Danışmanlar: PROF. DR. MEHMET KARAKÖSE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 108
Özet
Derin öğrenme teknolojileri gün geçtikçe popülerliği artan uygulamalardan biri olmuştur. Bunlardan bir tanesi de deepfake olarak adlandırılan derin sahte uygulamalarıdır. Temel olarak deepfake, gerçek gibi görünen yanıltıcı içerik oluşturmak için görüntülerin, seslerin ve videoların yapay olarak oluşturulmasını veya değiştirilmesini sağlayan yeni bir teknolojidir. Eğitim, eğlence ve araştırma gibi alanlarda olumlu etkileri olmasına rağmen, sahte haber, propaganda, itibar zedeleme, şantaj gibi kötüye kullanımı da söz konusudur. Bu nedenle sahtecilik ile mücadelede derin sahteleri tespit etmek için çeşitli derin öğrenme tabanlı teknikler önerilmiştir. Bu mücadeleye katkıda bulunmak için yürütülen bu çalışmada Xception ve EfficientNet yöntemlerini kullanan 3 farklı derin sahte algoritması kullanıldı. Ayrıca, Choquet Bulanık İntegrali ile birleştirilerek yeni bir derin sahte tespit yöntemi sunuldu. Önerdiğimiz yöntem, kendi alanlarında iyi olan 3 farklı algoritmayı alarak her bir algoritmanın tek başına çalışabileceği doğruluk değerlerine karşılık gelen bulanık üyelik değerlerini Choquet Bulanık İntegrali kullanarak tek bir çatı altında toplamış ve böylece derin sahtecilik alanında daha önce yapılmamış bir çalışmaya imza atarak derin sahte tespitinin doğruluk oranını önemli ölçüde artırmıştır. FaceForensics ++, DFDC, Celeb-DF-v2 ve DeepFake-TIMIT-HQ veri kümesi kullanılarak elde edilen deneysel sonuçlar, Choquet Bulanık İntegral tekniğine dayalı önerilen yaklaşımın derin sahtecilik sınıflandırması için tek sınıflandırıcılardan daha iyi performans gösterdiğini ve %99,8'lik en yüksek AUC'ye ulaştığını göstermektedir. Bu yöntemde, başka etkili modeller kullanılarak daha etkili bir sonuç elde edilebilir. Önerilen ikinci yöntemde ise görüntü işleme teknolojilerde son teknoloji olarak kullanılan ve güncel olan Görüntü Dönüştürücü (ViT) kullanılmıştır. Yöntemde ViT ile birlikte literatürde derin sahte tespit yöntemlerinde öncülük eden ve mimari olarak çok hafif olan MesoNet yöntemi kullanılmıştır. Önerilen yöntem küçük miktarda veri setinde eğitilmesine rağmen %92,6 doğruluk oranı ile kabul edilebilir bir performans göstermiştir. Ayrıca kullanıcılar için görüntülerini analiz edebilecekleri gerçek zamanlı derin tespit uygulaması tasarlanmıştır. Önerilen yöntemin araştırmacılara ilham vereceğine ve daha da geliştirileceğine inanıyoruz.
Özet (Çeviri)
Deep learning technologies have become one of the applications that are becoming increasingly popular. One of these is applications called deepfake. Basically, deepfake is a new technology that allows images, sounds and videos to be artificially created or modified to create misleading content that looks like real. Although it has positive effects in areas such as education, entertainment and research, it is also misused such as fake news, propaganda, reputation damage and blackmail. For this reason, various deep learning-based techniques have been proposed to detect deepfakes in the fight against forgery. In this study, which was carried out to contribute to this fight, 3 different deepfake algorithms using the Xception and EfficientNet methods were used. In addition, a new deepfake detection method was presented by combining it with Choquet Fuzzy Integral. Our proposed method takes 3 different algorithms that are good in their own fields and gathers the accuracy values and fuzzy membership values that each algorithm can work on its own under a single roof using Choquet Fuzzy Integral, and thus, it has significantly increased the accuracy rate of deepfake detection by signing a study that has not been done before in the field of deepfake. Experimental results obtained using FaceForensics ++, DFDC, Celeb-DF-v2 and DeepFake-TIMIT-HQ dataset show that the proposed approach based on Choquet fuzzy integral technique outperforms single classifiers for deepfake classification and reaches the highest AUC of 99.8%. In this method, a more effective result can be obtained by using other effective models. In the second proposed method, Image Transformer (ViT), which is the latest technology used in image processing technologies and is up-to-date, is used. In the method, together with ViT, the MesoNet method, which is a pioneer in deepfake detection methods in the literature and is very lightweight in terms of architecture, is used. Although the proposed method was trained on a small amount of dataset, it showed an acceptable performance with an accuracy rate of 92.6%. In addition, a real-time deep detection application is designed for users to analyze their images. We believe that the proposed method will inspire researchers and will be further developed.
Benzer Tezler
- Deepfake image/video detection and classifications using deep learning techniques
Derin öğrenme teknikleri kullanılarak deepfake görüntü/video tespiti ve sınıflandırmaları
DEO RUTIKANGA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk Hava Kurumu ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ZEYNEL DEPREM
- Görüntü manipülasyonlarının derin öğrenme yaklaşımı ile belirlenmesi
Detection of image manipulations with deep learning approach
SEMİH YAVUZKILIÇ
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiFırat ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULKADİR ŞENGÜR
- Quantum transfer öğrenmesi ve sınıf dikkat mimarisi ile deepfake tespiti
Deepfake detection with quantum transfer learning and class attention architecture
BEKİR ERAY KATI
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
DR. ÖĞR. ÜYESİ GÜNCEL SARIMAN
- Derin öğrenme algoritmalarını kullanarak deepfake video tespiti
Deepfake video detection using deep learningalgorithms
ŞAHİN KORKMAZ
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiAdli Bilişim Ana Bilim Dalı
PROF. DR. MUSTAFA ALKAN
- Öz denetimli öğrenme yaklaşımları ile derin sahte ses ve görüntü maniplasyonunun tespiti
Detection of deepfake audio and image manuplation with self-supervised learning approach
MERVE YILDIRIM
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN AYDIN