Yapay zeka ve derin öğrenme teknikleri kullanılarak yüz fotoğrafları içeren sahte fotoğraf ve video sentezi
Synthesis of fake photo and video containing face photographs using artificial intelligence and deep learning techniques
- Tez No: 679254
- Danışmanlar: DOÇ. DR. ERCAN BULUŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Tekirdağ Namık Kemal Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 47
Özet
Günümüzde sosyal medya ve Web aracılığıyla fotoğraf paylaşımı oldukça arttı. Neredeyse hemen her çekildiğimiz fotoğrafı, özel olsun olmasın, Web' e bir şekilde yüklüyoruz. Ama bu fotoğrafların kötü niyetli insanlar tarafından da görülebileceği ve kullanılabileceği konusunda pek bilinçli değiliz. Bu çalışmanın amacı da bu noktada ortaya çıkıyor. Çalışmada bu amaçla; bir kişinin gerçekte var olan kısa bir videosundan veya birkaç fotoğrafından bile, o kişinin yüz fotoğrafını içeren sahte videolar oluşturulabileceği kanıtlanmaktadır. Bu birkaç fotoğraf veya kısa bir video alınıp derin öğrenme teknikleriyle eğitilerek sahte fotoğraflar ve videolar oluşturulabilir. Sahte videolarda kişinin yüzüyle başka bir kişinin yüz değişimi (Face swapping) uygulanabilir veya kişinin yüzüne yeniden canlandırma (hareketlendirme) (Face reenactment) yapılabilir. Yeniden canlandırmada ise kaynak bir kişinin yüzüne başka bir kişinin videosundaki yüz hareketleri uygulanabilir. Hatta StyleGAN gibi teknikler ile gerçek insan yüz fotoğraflarından oluşan bir fotoğraf kümesi kullanılarak var olmayan insan fotoğrafları bile üretilebilir. Yaygın olarak Derin sahtelik (Deepfake) teknolojisi olarak bilinen bu teknikler, bu çalışmada yüzde kullanılan çeşitleri ve yapıları ile birlikte ele alınmıştır. Bu teknikler, eski dönemlerde yaşamış bilim adamlarının, ünlülerin var olan fotoğraflarına yeniden canlandırma yapılıp konuşturularak çocuklar için eğitim amaçlı kullanılabilir. Kuklacılıkta bu yöntem kullanılabilir. Oyuncuların (Aktörlerin-Aktrislerin) yerine sahnelerde, onların fotoğraflarıyla bilgisayarda yeniden canlandırma yapılabilir. Portreler canlandırılabilir (hareketlendirilebilir). Bilgisayar oyunlarındaki karakterlerde de bu yöntem kullanılabilir. Son zamanlarda özellikle bu teknolojilerle oluşturulan Kemal Sunal başta olmak üzere birçok oyuncu ve sanatçının videoları, reklam filmlerinde ve sosyal medyada artmıştır. Bu çalışmanın benzer araştırmalardan ayrıldığı nokta ise eğitim için kullanılacak olan verinin diğer çalışmalardaki verilerden daha az olması ve sahte video oluşturma çeşitlerinin, yapılarının birlikte ele alınmasıdır. Veri eğitimi için kullanılan materyal GPU ve veri seti olarak ise VoxCeleb veri seti, birkaç kısa video ve birkaç fotoğraftan oluşmaktadır. Kullanılan yöntem ise Çekişmeli üretici ağlar ve Otomatik kodlayıcılar gibi üretken ağlardır. Yapılan çalışma kullanılan video ve fotoğraflarda yüzün karşıya (öne) dönük veya hafif sağa ya da hafif sola dönük iken, yüz hareketinin belirli bir alanda sınırlı olduğunda ve yüzün yavaş hareket ettiğinde yapay zekayı daha iyi eğittiği ve bu eğitim verileri kullanılarak oluşturulan sahte videoların daha başarılı olduğunu göstermiştir.
Özet (Çeviri)
Sharing photos from social media and the Web has increased considerably these days. We upload almost every photograph we take, private or not, to the Web in some way. But we are not very conscious that these photos can also be seen and used by malicious people. The purpose of this study emerges at this point. For this purpose, in the study; It is proved that even from a short video or a few photos of a person that actually exists, fake videos containing a face photo of that person can be created. Fake photos and videos can be created by taking these few photos or a short video and training them with deep learning techniques. In fake videos, face swapping of another person can be applied with the face of the person or face reenactment can be applied to the person's face. In re-enactment, facial movements of another person's video can be applied to the face of a source person. Even non-existent human photographs can be produced using techniques such as StyleGAN using a set of photographs of real human faces. These techniques, commonly known as deepfakes technology, are discussed in this study together with the types and structures used on the face. These techniques can be used for educational purposes for children by animating existing photographs of scientists and celebrities who lived in ancient times. This method can be used in puppetry. Instead of actors (Actors-Actresses), scenes can be animated with their photos on the computer. Portraits can be animated. This method can also be used in characters in computer games. Recently, the videos of many actors and artists, especially“Kemal Sunal”, who were created with these technologies, have increased in commercials and social media. The difference of this study from similar studies is that the data used for training is less than the data in other studies, and the types and structures of fake video creation are considered together. The material used for data training is the GPU and the dataset consists of VoxCeleb dataset, several short videos and several photos. The method used is generative networks such as Generative adversarial networks (GAN) and Auto-encoders. The study has shown that in the videos and photos used, when the face is turned forward or slightly to the right or slightly to the left, when the facial movement is limited in a certain area and the face moves slowly, it trains the artificial intelligence better. It has shown that the fake videos created using this training data are more successful.
Benzer Tezler
- Derin öğrenme ve geleneksel makine öğrenme teknikleri kullanılarak manda yüz tanıma modellerinin geliştirilmesi
Development of water buffalo face recognition models using deep learning and traditional machine learning techniques
NİYAZİ HAYRULLAH TUVAY
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYozgat Bozok ÜniversitesiTarım Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ORHAN ERMETİN
- Derin öğrenme ile yüz tanıma
Face recognition with deep learning
FATIMA ZEHRA ÜNAL
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET SERDAR GÜZEL
- Yapay zeka teknikleri kullanılarak mikro ifadelerin tespiti ve sınıflandırılması
Detection and classification of microexpressions using artificial intelligence techniques
MEHMET ZAHİT UZUN
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YÜKSEL ÇELİK
DOÇ. DR. ERDAL BAŞARAN
- Derin öğrenme ve nesnelerin interneti kullanılarak insan yüz tipine göre mobil destekli gözlük öneri sisteminin gerçekleştirilmesi
Implementation of a mobile supported glasses recommendation system according to human face type using deep learning and internet of things
HASAN TEZCAN
Yüksek Lisans
Türkçe
2024
Mekatronik MühendisliğiIsparta Uygulamalı Bilimler ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. BEKİR AKSOY
- Gömülü sistem platformu üzerinde görüntü işleme tekniklerinin uygulanması
Image processing techniques on embedded system
SERTAÇ YAMAN
Doktora
Türkçe
2021
Elektrik ve Elektronik MühendisliğiFırat ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAVUZ EROL