Haber kaynaklarındaki videoların derin sahteliğinin görüntü analizi ve metin doğrulaması için derin öğrenme yöntemlerinin kullanımı
Use of deep learning methods for image analysis and textverification of video deepfakes in news sources
- Tez No: 989963
- Danışmanlar: PROF. DR. BURHAN ERGEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Dijital içerik manipülasyonlarının artması, özellikle deepfake videoların bireysel, kurumsal ve toplumsal güvenliği tehdit eden önemli bir unsur haline gelmesine yol açmıştır. Yapay zeka tabanlı üretici modellerin giderek daha gelişmiş hale gelmesi, sahte video ve ses üretimini kolaylaştırmaktadır. Bu durum doğru bilgiye erişimi zorlaştırarak medya güvenilirliğini zayıflatmaktadır. Bu bağlamda, sahte içeriklerin erken ve doğru tespiti, dezenformasyonun yayılmasını engellemek ve güvenli bilgi ekosisteminin sürdürülebilirliğini sağlamak açısından kritik bir gereklilik haline gelmiştir. Bu tez çalışmasının temel amacı, videolardaki görsel manipülasyonları tespit edebilen, konuşma içeriğini güvenilir biçimde metne dönüştüren ve elde edilen metnin doğruluğunu bağımsız haber kaynaklarıyla karşılaştırarak değerlendiren bütünleşik bir doğrulama sistemi geliştirmektir. Çalışmanın temel hipotezi, görüntü, ses ve metin verilerinin birlikte analiz edildiği çok modlu bir yaklaşımın, tekli yöntemlere kıyasla manipülasyonları daha yüksek doğrulukla tespit edeceğidir. Araştırmada DFDC, FaceForensics++, Celeb-DF ve DFD gibi literatürde yaygın kullanılan büyük ölçekli veri kümeleri ile yaklaşık 300 haber metninden oluşan kapsamlı bir veri seti kullanılmıştır. Yöntemsel olarak videolarda sahte yüz üretimini belirlemek amacıyla ResNeXt-50 ve LSTM tabanlı hibrit bir mimari kullanılmıştır. Ses transkripsiyonu için Whisper modeli tercih edilmiştir. İçerik doğrulaması ise Zemberek, BERTSum, YAKE, SBERT ve N-gram temelli çok katmanlı bir NLP yapısıyla gerçekleştirilmiştir. Elde edilen bulgular, hibrit görüntü modelinin yüz manipülasyonlarını yüksek doğrulukla tespit ettiğini, Whisper'ın farklı ses senaryolarında en düşük hata oranını sunduğunu ve metin doğrulama bileşeninin haber içeriklerini güvenilir kaynaklarla başarılı bir şekilde karşılaştırabildiğini göstermektedir. Sonuç olarak çalışma, deepfake içeriklerin çok boyutlu analizine olanak sağlayan, gerçek zamanlı çalışabilen ve yüksek doğruluk sunan yenilikçi bir doğrulama sistemi ortaya koymaktadır.
Özet (Çeviri)
The rise of digital content manipulation, particularly deepfake videos, has become a significant threat to individual, institutional, and societal security. Increasingly sophisticated AI-based generative models are facilitating the production of fake video and audio. This situation hinders access to accurate information, weakening media credibility. In this context, early and accurate detection of false content has become critical to preventing the spread of disinformation and ensuring the sustainability of a secure information ecosystem. The main objective of this thesis is to develop an integrated verification system that can detect visual manipulations in videos, reliably convert the speech content into text, and evaluate the accuracy of the resulting text by comparing it with independent news sources. The main hypothesis of the study is that a multimodal approach where image, audio and text data are analyzed together will detect manipulations with higher accuracy compared to single methods. In the research, a comprehensive dataset consisting of approximately 300 news texts and large-scale datasets widely used in the literature such as DFDC, FaceForensics++, Celeb-DF and DFD were used. A hybrid architecture based on ResNeXt-50 and LSTM was used to detect fake faces in videos. The Whisper model was used for audio transcription. Content verification was performed using a multilayer NLP structure based on Zemberek, BERTSum, YAKE, SBERT, and N-gram. The findings show that the hybrid image model detects facial manipulations with high accuracy, Whisper offers the lowest error rate in different audio scenarios, and the text verification component can successfully compare news content with reliable sources. As a result, the study presents an innovative verification system that enables multi-dimensional analysis of deepfake content, operates in real time, and offers high accuracy.
Benzer Tezler
- Avrupa'da Suriyeli mülteci krizi'nin TRT World ve Euronews haber kanallarındaki görsel çerçevelemesi
Visual framing of Europe's Syrian refugee crisis news on TRT World and Euronews
EMRE KOÇ
Yüksek Lisans
Türkçe
2021
Radyo-TelevizyonMarmara ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YENAL GÖKSUN
- Fostering preservice mathematics teachers' professional identity orientations through noticing practices in a video case-based community
Matematik öğretmen adaylarının mesleki kimliklerinin fark etme pratikleri aracılığı ile özel durum videoları temelli topluluk kapsamında geliştirilmesi
KÜBRA ÇELİKDEMİR
Doktora
İngilizce
2018
Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesiİlköğretim Bilim Dalı
DOÇ. DR. ÇİĞDEM HASER
- Bilim iletişimi ve siyaset ilişkisinde medyanın rolü: İklim değişikliği çerçevesinde bir inceleme
The role of media in the relationship between science communication and politics: An analysis within the framework of climate change
SERGEN YARAMIŞ
Yüksek Lisans
Türkçe
2024
İletişim BilimleriEge ÜniversitesiHalkla İlişkiler ve Tanıtım Ana Bilim Dalı
PROF. DR. BİLGEHAN GÜLTEKİN
- 2000 sonrası Türkiye'deki toplumsal olayların resim sanatına yansımaları
The reflections of social events on painting in Turkey after 2000
FAHRİ ERTÜRK
- Suçun coğrafyasını gazeteden 'Okumak'
'Reading' the geography of crime from the newspapers
HATİCE KATIRCI
Yüksek Lisans
Türkçe
2023
CoğrafyaSüleyman Demirel ÜniversitesiCoğrafya Ana Bilim Dalı
PROF. DR. KADİR TEMURÇİN