Evrişimsel sinir ağlarını kullanarak sahte yüz görüntülerinin tespit edilmesi
Detection of fake face images using convolutional neural networks
- Tez No: 797817
- Danışmanlar: PROF. DR. NECAATTİN BARIŞÇI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 70
Özet
Sahte yüz içeren görüntü ve videolar en yaygın dijital manipülasyon türüdür. Bu içerikler yanlış bilgilerin yayılmasına neden olarak birçok istenmeyen duruma sebep olabilir. Özellikle sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmalarının kullanılması sahte içeriklerin ayırt edilmesini oldukça zorlaştırmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Yapılan çalışmada tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak üretilen sahte yüz görüntülerinin tespit edilebilmesi için hafif evrişimsel sinir ağları kullanılmıştır. Eğitim işleminde kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Veri setinin %80'i eğitim %20'si test işlemi için kullanılmıştır. İlk olarak eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile evrişimsel sinir ağları ayrı ayrı eğitilmiştir. Eğitim işleminde modeller ImageNet üzerinde ön eğitilmiş olarak transfer öğrenme ile tekrar kullanılmıştır. İlk eğitimler sonucunda EfficientNetB0 algoritması %93,64 ile en yüksek doğruluk oranına ulaşmıştır. Doğruluk oranını artırabilmek için en yüksek EfficientNetB0 algoritmasına transfer öğrenme için ReLU aktivasyon fonksiyonuna sahip iki yoğun katman (256 nöron), iki bırakma katmanı, bir düzleştirme katmanı, ReLU aktivasyon fonksiyonuna sahip bir yoğun katman (128 nöron) ve sınıflandırma için kullanılan softmax aktivasyon fonksiyonuna sahip iki düğümlü yoğun katman eklenmiştir. Bu işlem sonucu EfficientNetB0 algoritmasıyla %95,48 doğruluk oranına ulaşılmıştır. Son olarak %95,48 doğruluk oranına ulaşan model ile MobileNet ve MobileNetV2 modelleri yığınlama topluluk öğrenme yöntemi ile birlikte eğitilerek %96,44 ile en yüksek doğruluk oranına ulaşılmıştır.
Özet (Çeviri)
Images and videos containing fake faces are the most common type of digital manipulation. These contents can cause many negativities by causing fake information to be spread. The use of machine learning algorithms in the production of fake face images has made it very difficult to distinguish fake content. Face manipulations are divided into 4 basic groups; entire face synthesis, face identity manipulation (deepfake), facial attribute manipulation, and facial expression manipulation. In the study, lightweight convolutional neural networks were used to detect fake face images produced by using entire face synthesis and generative adversarial networks. The dataset used in the training process includes 70,000 real images in the FFHQ dataset and 70,000 fake images produced with StyleGAN2 using the FFHQ dataset. 80% of the dataset was used for training and 20% for testing. Firstly MobileNet, MobileNetV2, EfficientNetB0 and NASNetMobile convolutional neural networks are separately trained for the training process. In the training the models were pre-trained on ImageNet and reused with transfer learning. As a result of the first trainings EfficientNetB0 algorithm reached the highest accuracy of 93.64%. EfficientNetB0 algorithm revised to increase the accuracy rate two dense layers (256 neurons) with ReLU activation, two dropout layers, one flatting layer, one dense layer (128 neurons) with ReLU activation function and softmax activation function used for classification dense layer with two nodes. As a result of this process accuracy rate of 95.48% was achieved with EfficientNetB0 algorithm. Finally the model that reached 95.48% accuracy, MobileNet and MobileNetV2 models were trained together with the stacking ensemble learning method, and the highest accuracy rate was achieved with 96.44%.
Benzer Tezler
- Pansharpening using generative adversarial networks with dual discriminators
Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme
NAHİDE NESLİ CESUR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- Derin evrişimsel ağlar kullanarak çevrimdışı sahte imza ve gerçek imza sınıflandırılması
Offline fake signature and real signature classification using deep convolutional networks
TUBA TALO
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ÇINAR
- Büyük veri ve makine öğrenmesi kullanılarak elektrik tüketim örüntülerinin çıkarılması
Extracting electricity consumption patterns using big data and machine learning
FATİH ÜNAL
Doktora
Türkçe
2022
EnerjiFırat ÜniversitesiEnerji Sistemleri Mühendisliği Ana Bilim Dalı
PROF. DR. SAMİ EKİCİ
- Generative adversarial networks based level generation for angry birds
Çekişmeli üretici ağlar ile angry birds bölümlerinin üretilmesi
BURKAN YILMAZ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER
- Yapay zeka ve mimarlık etkileşimi üzerine bir çalışma:Üretken çekişmeli ağ algoritması ile otonom mimari plan üretimi ve değerlendirmesi
A study on interaction of artificial intelligence and architecture: Production and evaluation of architectural plans with generative adversarial networks
CAN UZUN
Doktora
Türkçe
2020
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MERYEM BİRGÜL ÇOLAKOĞLU