Çekişmeli üretici ağlar ile sıfırdan iki boyutlu karakter üretimi ve karakter renklendirilmesinde pıxelsıght bloklarının kullanımıyla çeşitlilik ve kalitenin artırılması
Enhancing diversity and quality in two-dimensional character generation and character coloring using generative adversarial networks with pixelsight blocks
- Tez No: 935654
- Danışmanlar: DR. ÖĞR. ÜYESİ OĞUZ ALTUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 110
Özet
Yaptığımız tez çalışmasında, iki boyutlu karakter üretimini otomatikleştirmeye odaklanan çalışmaları gözden geçirdik. Henüz bu alanda kullanılmamasına rağmen potansiyel olarak uygulanabilir olabilecek çalışmaları da tartıştık. İki boyutlu karakter üretimin sürecinde kullanılan mimarilere yönelik iyileştirmeler sunduk. Konunun daha iyi anlaşılmasını sağlamak için, iki boyutlu karakterleri ve bunların üretim süreçlerini tanıttık. 2B karakterlerin üretim süreçleri, özellikle ÇÜA mimarilerinin ortaya çıkmasıyla birlikte önemli ölçüde gelişmiştir. ÇÜA ve VOK tabanlı mimarilere odaklanarak iki boyutlu karakterler için kullanılan temel mimarileri tartıştık. Ayrıca, gelecekteki çalışmalarda kullanılabilecek mimarilerden bahsediyoruz ve bahsettiğimiz mimarilerin neden uygun seçenekler olabileceğini kısaca açıkladık. Karakter renklendirme için MANGAN mimarisini ve Pix2Pix mimarisinin çeşitli modifikasyonlarını karşılaştırdık. Karşılaştırdığımız Pix2Pix modifikasyonları arasında Isola vd. tarafından önerilen orijinal Pix2Pix mimarisi, Serpa ve Rodrigues tarafından önerilen Pix2Pix mimarisi, Jiang ve Sweetser tarafından önerilen Pix2Pix mimarisi, Coutinho ve Chaimowicz tarafından önerilen Pix2Pix mimarisi bulunmaktadır. Renklendirme için yaptığımız karşılaştırmada, en iyi sonuçları Isola vd. tarafından önerilen orijinal Pix2Pix mimarisi ile elde ettik. Bu nedenle, geliştirmelerimizi Isola vd. tarafından önerilen mimariyi temel alarak gerçekleştirdik. Pixel VQ-VAE mimarisindeki PixelSight bloklarından esinlenerek, üretecin ilk katmanına ve ayırıcının son katmanına 1x1 konvolüsyonlar ekledik. Yaptığımız eklemeler sonucunda görüntünün bir bütün olarak renklendirilmesini önledik. Ayrıca, eğitim setindeki renk baskınlığının etkisini HSV histogramı yardımıyla ortaya koyduk. Gerçek dünya verileri ile deneyler yaparak sonuçlarını paylaştık. Karakter üretimi için DKÇÜA mimarisini kullandık. DKÇÜA mimarisi ile karakter üretiminde sapmalarla karşılaştık. Sapmaların önüne geçebilmek amacıyla tarihsel ortalama tekniğinden esinlenen bir yöntem kullanarak eğitim sırasında sapmaları önledik. Pixel VQ-VAE mimarisindeki PixelSight bloklarından esinlenerek, DKÇÜA mimarisinin ayırıcı ağına 1x1 konvolüsyon ekledik. Çeşitliliği ve çıktı kalitesini artırdık. Değerlendirme yöntemlerinin karakter üretimini değerlendirmekte yetersiz kaldığına değindik. Düşüncemiz doğrultusunda kullanıcı anketi ile karakter üretimine ait deneyimizi tekrar değerlendirdik.
Özet (Çeviri)
In this thesis, we reviewed studies focused on automating the generation of two-dimensional characters. To enhance understanding of the topic, we introduced two-dimensional characters and their production processes. We discussed the core architectures used for two-dimensional characters, focusing on GAN and VAE-based models. Additionally, we mentioned architectures that could be utilized in future research and briefly explained why these architectures may be suitable options. We compared the MANGAN architecture and various modifications of the Pix2Pix architecture for character coloring. In our comparison, the best results were achieved with the Pix2Pix architecture proposed by Isola et al., which was the original Pix2Pix architecture. Therefore, we based our improvements on this architecture. Inspired by the PixelSight blocks in the Pixel VQ-VAE architecture, we added 1x1 convolutions to the first layer of the generator and the last layer of the discriminator. This enhancement led to progress in terms of similarity and preventing the image from being colored as a whole. We used an HSV histogram to analyze color dominance in the training set and showed its impact on results. Also, we experimented with real-world data. We used the DCGAN architecture for character generation. During character generation with the DCGAN architecture, we encountered deviations. To prevent these deviations, we implemented a method inspired by the historical averaging technique, which helped to mitigate deviations during training. Inspired by the PixelSight blocks from the Pixel VQ-VAE architecture, we incorporated a 1x1 convolution into the discriminator network of the DCGAN architecture. This modification enhanced diversity and output quality. We also addressed the insufficiency of current evaluation methods in assessing character generation. Based on this, we reassessed our character generation experiment using a user survey.
Benzer Tezler
- Oyun karakteri üretimi için üretken modeller
Generative models for game character generation
FERDA GÜL AYDIN EMEKLİGİL
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ
- Human activity recognition using deep learning
Derin öğrenme ile insan aktivitesi tanıma
MURAT YALÇIN
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
- Generative adversarial networks in computer vision applications
Bilgisayarli görü uygulamalarinda çekişmeli üretici ağlar
SEMİH ÖRNEK
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Privatization, liberalization and deregulation of Turkish state railways and frameworks for public-private partnerships
Türkiye devlet demiryollarının kamu-özel işbirliği kapsamında özelleştirilmesi ve serbestleşmesi
SHAHIN SHAKIBAEI
Doktora
İngilizce
2020
Ulaşımİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. PELİN ALPKÖKİN
- Generating synthetic data for user behavior based intrusion detection systems
Kullanıcı davranışına dayalı saldırı tespit sistemleri için sentetik veri oluşturulması
UGHUR IBRAHIMOV
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. ENVER ÖZDEMİR