Deep learning-driven classification ofdepth image-based rendering anddynamic face warping in deepfakealtered videos for fabricated news onsocial media
Sosyal medyada uygulanmış haberler için değiştirilmiş videoların derinlik görüntü tabanlı oluşturulması ve dinamik yüz çarpıtmasının derin öğrenme odaklı sınıflandırılması
- Tez No: 979251
- Danışmanlar: DR. ÖĞR. ÜYESİ MESUT ÇEVİK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yapay zeka, Artificial intelligence
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Altınbaş Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Deepfake'ler, şeffaflık ve gerçeğin egemen olduğu bir dünyada sürekli bir zorluk teşkil etmektedir. Bu çalışma, Xception mimarisine dayanan yeni bir deepfake tespit yöntemi sunmaktadır. Deepfake, özellikle sosyal medya platformlarında, bu ağlarda hızla yayılan ve kamuoyunun görüşünü, itibar kaybını ve yanlış bilgi yayılımını güçlü bir şekilde etkileyen manipüle edilmiş içerikler aracılığıyla dijital bilgilerin gerçekliğine yönelik bazı tehditler oluşturmaktadır. Bu araştırma, deepfake tespitine Xception tabanlı bir yaklaşım getirmiştir. Mimari, derinlik açısından ayrılabilir evrişimler gibi iyileştirmelerden yararlanan ve yüzlerdeki tutarsızlıklar, ışık düzensizlikleri ve doğal olmayan dokular gibi tipik deepfake medyalarındaki incelikli yapılardan yararlanmak üzere optimize edilmiş, verimli bir özellik çıkarma CNN modeli kullanmaktadır. 500.000'den fazla kareden oluşan, özgün ve manipüle edilmiş video içeriklerini içeren kapsamlı bir veri kümesi üzerinde eğitilmiş ve test edilmiştir. Veri ön işleme adımları, yüz çıkarma ve genellemeyi iyileştirmek için verilerin hizalanması ve çeşitliliğinin artırılmasını içeriyordu. Model çeşitli metrikler kullanılarak değerlendirildi ve %99,69 doğruluk, %99,58 hassasiyet, %99,80 geri çağırma ve %99,69 F1 puanıyla oldukça etkileyici puanlar aldı. Bu sonuçlar, modelin, deepfake içeriğin makul bir şekilde belirlenmesi karşılığında yanlış pozitifleri önlemek için doğru bir şekilde dengelendiğini ve içerik doğrulamasının kritik öneme sahip olacağı gerçek dünya senaryolarında kullanılabileceğini göstermektedir. Xception tabanlı model ayrıca, ortalama çıkarım süresinin kare başına 0,08 saniye olmasıyla güçlü bir hesaplama verimliliği göstermiştir. 0,9999'luk bir AUC-ROC puanıyla, bu verimlilik, modelin gerçek kareleri işlenmiş karelerden neredeyse mükemmel bir doğrulukla önemli ölçüde ayırt edebildiğini kanıtlamaktadır. Dahası, sağlamlığı farklı çözünürlükler ve sıkıştırmalar da dahil olmak üzere çeşitli koşullar altında test edilmiştir. Düşük çözünürlüklü karelerde %99,65, yüksek çözünürlüklü karelerde ise %98,1 doğruluk oranına ulaşmış ve sosyal medyada sıklıkla bulunan içeriklerin karakteristik özellikleri olan çeşitli medya niteliklerine uyum sağlayabildiğini kanıtlayan yüksek oranda sıkıştırılmış videolarda bile %90'ın üzerinde doğruluk oranına ulaşmıştır. Özetle, Xception tabanlı bir deepfake tespit çerçevesi, deepfake medya için güçlü, doğru ve etkili bir çözüm sunarak sosyal medyadaki dijital içeriğin bütünlüğünü ve özgünlüğünü desteklemektedir. Bu çalışmanın olası gelecekteki yönleri olarak, yeni ortaya çıkan deepfake üretim tekniklerine karşı daha fazla dayanıklılık için düşmanca eğitimin daha fazla araştırılması ve veri setinin gizli ve çeşitli örneklerle genişletilmesi düşünülebilir. Bu nedenle, bu araştırma, yanlış bilgiyi azaltmak ve dijital medyaya olan kamu güvenini korumak için aracın ölçeklenebilirliğini sağlayarak deepfake tespit alanına değerli bir katkı sağlamaktadır.
Özet (Çeviri)
Deepfakes present a persistent challenge in a world driven by transparency and truth. This study introduce a new deepfake detection method based on Xception architecture. Deepfake is having some threats to the authenticity of digital information especially on social media platforms through manipulated content, which transpires fast within these networks and powerfully influences the public's opinion, reputational harm, and fuel of misinformation. This research introduced an Xception-based approach to deepfake detection. The architecture utilizes an efficient feature extraction CNN model that benefits from the improvements such as depthwise separable convolutions and is optimized to exploit subtle artifacts in typical deepfake media, such as inconsistencies in facial landmarks, lighting irregularities, and unnatural textures. It was trained and tested on an all-inclusive dataset of more than 500,000 frames comprising authentic and manipulated video content. The data preprocessing steps included face extraction and alignment and diversity augmentation of the data to make generalization better. The model was evaluated using various metrics and scored quite impressively at 99.69% accuracy, precision at 99.58%, recall at 99.80%, and with an F1 score at 99.69%. These results demonstrate that the model is correctly balanced to avoid false positives at a reasonable tradeoff for identifying deepfake content well enough to be deployable in real-world scenarios where content verification will prove critical. The Xception-based model also shown strong computational efficiency with the average inference time being 0.08 seconds per frame. With an AUC-ROC score of 0.9999, this efficiency combined proves that the model can significantly distinguish the real from the manipulated frames with near-perfect accuracy. More so, its robustness was tested under various conditions, including different resolutions and compressions. It achieved an accuracy of 99.65% on low-resolution frames and 98.1% on high-resolution frames, with an accuracy of greater than 90% even for highly compressed videos that ascertained its adaptability to the diverse media qualities characteristic of content usually found on social media. In summary, a deepfake detection framework based on Xception offers a powerful, accurate, and efficient solution to deepfake media, supporting the integrity and authenticity of digital content on social media. As possible future directions of this work, it could be considered to further explore the adversarial training for more robustness against emerging deep fake generation techniques and expanding the dataset with occluded and diverse samples. This research is therefore a valuable contribution to the area of deep fake detection, offering scalability of the tool to reduce misinformation and protect public trust in digital media.
Benzer Tezler
- Derin öğrenme modelleri kullanarak yazma alanında özgül öğrenme güçlüklerinin erken teşhisi
Early diagnosis of specific learning difficulties in writing using deep learning models
NEŞE ÖZKUM
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NEJAT YUMUŞAK
- Architectural section generation and semantic evaluation with deep learning methods
Derin öğrenme yöntemleri ile mimari kesit üretimi ve anlamsal değerlendirilmesi
ECE SAVAŞ
Yüksek Lisans
İngilizce
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU
- İşbirlikçi zeka yaklaşımıyla çok görevli öğrenmede dinamik bölme noktası hesaplama
Dynamic split point computing in multi-task learning implementation with collaborative intelligence
MUHAMMED FARUK ŞAHİN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFatih Sultan Mehmet Vakıf ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FERZAT ANKA
- Derin öğrenme tabanlı yaklaşımlarla mikroskop görüntülerinden plastik türlerinin sınıflandırılması
Classification of plastic types from microscope images using deep learning-based approaches
ADEM DELİASLAN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ULAŞ YURTSEVER
- New deep learning based approaches for land cover classificationin satellite images
Uydu görüntülerinde arazi örtüsü sınıflandırması için yeni derin öğrenme tabanlı yaklaşımlar
BAHAA AWAD
Doktora
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER