Transformer-based deepfake detection methods
Görü dönüştürücü temelli derin sahte tespiti yöntemleri
- Tez No: 932065
- Danışmanlar: DR. ÖĞR. ÜYESİ BERK GÖKBERK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 85
Özet
Derin sahte, video veya seslerdeki kimliklerin yapay zeka ile değiştirilmesiyle üretilen sentetik medya ürünleridir. Son yıllarda derin öğrenmedeki önemli ilerlemeler, derin sahte görüntü ve videolar üretmek için ileri tekniklerin geliştirilmesini sağlamıştır. Derin sahte teknolojisinin eğlence ve eğitim gibi yasal kullanım alanları olsa da, kötüye kullanımı ciddi riskler taşır. Bu araçlar, toplumları manipüle etme, nefret ve düşmanlık körükleme, mahremiyeti ihlal etme ve bireyleri veya kurumları asılsız suçlama potansiyeline sahiptir. İnsanların gerçek ve sahte içerik arasındaki farkı algılayamaması, daha gelişmiş derin sahte tespit yöntemlerine yönelik araştırmaları teşvik etmiştir. Görü dönüştürücüler, son çalışmalarda ileri düzey modeller tarafından derin sahte tespiti için giderek daha fazla kullanılmaktadır. Bu çalışmada, evrişimsel sinir ağlarıyla görü dönüştürücüleri entegre eden Kombinasyonlu Çapraz Dikkat Görü Dönüştürücüleri (CCAViT) adlı yeni özgün bir derin sahte tespit modeli öneriyoruz. CCAViT, çapraz dikkat mekanizmalarıyla görü dönüştürücülerin kombinasyonel bağlantılarından yararlanır. Bu tez, evrişimsel sinir ağları ile görü dönüştürücülerin tamamlayıcı ve güçlü yönlerinden yararlanarak, geniş bir yelpazedeki manipülasyon tekniklerine karşı etkili öncü bir derin sahte tespit yöntemi sunmayı amaçlar. Ayrıca, veri ön işleme aşamasında daha verimli bir yüz tespit stratejisi öneriyoruz. Derin sahte tespitin her aşamasındaki zorluklar ele alınarak daha düzenli bir iş akışı hedeflenmiştir. Yaklaşımımız, tespit sürecinin her adımında uygulamalı rehberlik sağlayarak sonuçları iyileştirmek için odaklanılması gereken anahtar alanları vurgular.
Özet (Çeviri)
Deepfakes are synthetic media products generated by editing or swapping identities in videos or audio using artificial intelligence. Over the past few years, significant progress in deep learning has led to the development of advanced techniques to create deepfake images and videos. Although deepfake technology has legitimate uses in entertainment and education, it can be hazardous when misused. These tools, readily available to anyone, have the potential to manipulate societies, fuel hatred and hostility, violate privacy, and falsely accuse individuals or organizations of crimes. The inability of human perception to differentiate between real and fake content has spurred research into more sophisticated deepfake detection methods. Vision transformers have been increasingly used by state-of-the-art models for deepfake detection in recent studies. We propose a novel deepfake detection model, the Combinational Cross-Attention Vision Transformer (CCAViT), which integrates convolutional neural networks with Vision Transformers. CCAViT also utilizes the power of the cross-attention mechanism with combinational connections of visual transformers. This thesis aims to set a new benchmark in deepfake detection, offering robust performance against a wide range of manipulation techniques, leveraging the complementary strengths of convolutional neural networks and visual transformers. We developed an improved face detection technique for use in the data preprocessing stage. The challenges related to various stages of the deepfake detection process are explored to ensure more streamlined workflows. This thesis also provides guidance at every step in the implementation of deepfake detection methods, highlighting key focus areas to enhance detection performance.
Benzer Tezler
- Deepfake tespiti için derin öğrenme tabanlı hibrit mimarilerin geliştirilmesi
Development of deep learning-based hybrid architectures for deepfake detection
İSMAİL İLHAN
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KARAKÖSE
- Quantum transfer öğrenmesi ve sınıf dikkat mimarisi ile deepfake tespiti
Deepfake detection with quantum transfer learning and class attention architecture
BEKİR ERAY KATI
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
DR. ÖĞR. ÜYESİ GÜNCEL SARIMAN
- Transformer based interpretable algorithm for diagnosing myocardial infarction from electrocardiography data
Elektrokardiyografi verilerinden miyokard enfarktüsünü teşhisi için transformer tabanlı yorumlanabilir algoritma geliştirilmesi
BARIŞ ÖZCAN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YUSUF SİNAN AKGÜL
- Çevrimiçi otel değerlendirme yorumları için transformatör tabanlı duygu analizi çerçevesi
Transformer-based sentiment analysis framework for online hotel reviews
FIQI AMALI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
PROF. DR. HALİL YİĞİT
- Transformer based sensor fusion and pose estimation in end-to-end supervised learning of visual inertial odometry
Denetemeli uçtan uca öğrenme ile görsel ataletsel odometride dönüştürücü temelli algılayıcı füzyonu ve poz tahmini
YUNUS BİLGE KURT
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN