Çok modlu medikal derin sahte (deepfake) tespit yöntemlerinin geliştirilmesi
Development of multimodal medical deepfake detection methods
- Tez No: 1019062
- Danışmanlar: PROF. DR. MEHMET KARAKÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Deepfake teknolojisi, yanlış bilgilendirme, dolandırıcılık ve itibar zedelenmesi için kullanılabilen gerçekçi sentetik görüntüler, sesler ve videolar oluşturmayı mümkün kıldığı için dijital güvenlik sorunu hâline gelmiştir. Bu teknoloji hassas alanları etkilediğinden, bu tez farklı görüntüleme yöntemlerinde sahte tıbbi görüntüler üretmek ve tespit etmek için derin öğrenme tabanlı modeller geliştirmeyi ve değerlendirmeyi amaçlamaktadır. Tezin temel hipotezi, YOLO tabanlı mimarilerin tıbbi deepfake görüntüleri yüksek doğrulukla tespit edebileceğidir. İkincisi, tespit performansının model sürümüne ve tıbbi görüntü türüne göre değiştiğidir. Çalışmada başlangıçta diz osteoartriti röntgeni ve akciğer BT görüntüleri kullanılmıştır. İkinci aşamada, sahte beyin MRG görüntüleri, meme ultrasonu, böbrek BT ve akciğer BT görüntülerinden 3.732 görüntüden oluşan bir veri seti oluşturulmuştur. Metodoloji, görüntü toplama, ön işleme, veri artırma, GAN tabanlı modellerle sahte görüntü oluşturma, sınırlayıcı kutu etiketlemesi, veri seti bölme ve YOLO tabanlı dedektörlerin eğitimini içermektedir. İlk çalışmada YOLOv3, YOLOv5 ve YOLOv8 varyantları karşılaştırılırken, ikinci çalışmada YOLOv8 tabanlı dedektör kullanılmıştır. İlk çalışmadaki bulgular, YOLO modellerinin diz röntgeni deepfake tespitinde neredeyse tam başarı sağladığını, akciğer BT görüntülerinin daha zorlu bir tespit ortamı sunduğunu göstermiştir. İlk çalışmada, YOLOv5su, akciğer BT görüntülerinde 0,997'lik geri çağırma değeriyle doğruluk ve hız arasında en iyi dengeyi sağlamıştır. İkinci çalışmada, YOLOv8 tabanlı model, 0,999 kesinlik, 0,995 mAP50, 0,995 mAP50–95 ve 0,938 ortalama F1 puanı elde etmiştir. Bu sonuçlar, modelin tıbbi görüntülerde gerçek ve sahte örnekleri yüksek başarımla ayırt edebildiğini göstermektedir. Ayrıca hızlı çıkarım süresi sayesinde modelin pratik kullanım senaryoları için uygun performans sunduğu değerlendirilmektedir. Genel olarak sonuçlar YOLO tabanlı mimarilerin tıbbi deepfake tespiti için etkili, ölçeklenebilir ve pratik olduğunu göstermiştir.
Özet (Çeviri)
Deepfake technology has become a digital security issue because it makes it possible to create realistic synthetic images, sounds, and videos that can be used for misinformation, fraud, and reputational damage. Since this technology affects sensitive areas, this thesis aims to develop and evaluate deep learning-based models for generating and detecting fake medical images in different imaging methods. The main hypothesis of the thesis is that YOLO-based architectures can detect medical deepfake images with high accuracy. The second is that the detection performance varies depending on the model version and the type of medical image. Initially, knee osteoarthritis X-ray and lung CT images were used in the study. In the second phase, a dataset consisting of 3,732 images from fake brain MRI images, breast ultrasound, kidney CT, and lung CT images was created. The methodology includes image acquisition, preprocessing, data augmentation, generating fake images with GAN-based models, bounding box labeling, dataset splitting, and training of YOLO-based detectors. While the first study compared YOLOv3, YOLOv5, and YOLOv8 variants, the second study used the YOLOv8-based detector. Findings from the first study showed that YOLO models achieved near-complete success in knee X-ray deepfake detection, while lung CT images presented a more challenging detection environment. In the first study, YOLOv5su provided the best balance between accuracy and speed with a recall value of 0.997 in lung CT images. In the second study, the YOLOv8-based model achieved 0.999 precision, 0.995 mAP50, 0.995 mAP50–95, and an average F1 score of 0.938. These results demonstrate that the model can distinguish between real and fake samples in medical images with high accuracy. Furthermore, the model is considered to offer suitable performance for practical use cases due to its fast inference time. Overall, the results show that YOLO-based architectures are effective, scalable, and practical for medical deepfake detection.
Benzer Tezler
- Göğüs hastalıkları teşhisi için çok modlu bir derin öğrenme modeli
A multimodal deep learning model for chest disease diagnosis
DİĞDEM ORHAN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KAYA
- Medikal kodların derin öğrenme tabanlı yöntemlerle kestirimi
Predicting medical codes via deep learning-based methods
MUSTAFA ARDA AYDEN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
- Çocuk akciğer x-ışını görüntülerinin derin öğrenme yöntemleri ile analizi
Analysis of child lung x-ray images with deep learningmethods
ÇAĞDAŞ ŞİMŞEK
Doktora
Türkçe
2025
Fizik ve Fizik Mühendisliğiİstanbul ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. SUAT ÖZKORUCUKLU
- Beyin MR görüntüleri üzerinden beyin tümörü tespiti,sınıflandırması ve segmentasyonunda derin öğrenme yöntemlerinin incelenmesi
An investigation of deep learning approaches for brain tumor detection, classification, andsegmentation from brain MRI images
ESMA NUR GÜNEŞER
Yüksek Lisans
Türkçe
2026
Mühendislik BilimleriYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MERT BAL
- Road geometry extraction with fusion of low resolution satellite imagery and GPS trajectory using deep learning methods
Düşük çözünürlüklü uydu görüntüleri ve GPS rotaları birleştirilmesi ve derin öğrenme yöntemleri kullanılarak yol geometrilerinin tespiti
NECİP ENES GENGEÇ
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGİN TARI