Görüntülerdeki eksik kısmın tamamlanması amaçlı derin öğrenme temelli hibrit bir model geliştirilmesi
Development of a deep learning based hybrid model to complete the missing part in the images
- Tez No: 740137
- Danışmanlar: DOÇ. DR. ÖVÜNÇ POLAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 42
Özet
Bu tez çalışmasında görüntülerin eksik kısımlarının tahminlenmesi üzerine Konvolüsyonel Sinir Ağı (CNN), Uzun Kısa Süreli Bellek (LSTM) temelli hibrit bir model ve Otokodlayıcı (Autoencoder) metodu tasarlanmıştır. Görüntülerdeki eksik kısımların tahmini, gönderim işlemi yarıda kesilmiş, sinema moduna uymayan ve istenmeyen bir nesneye sahip olan görüntüler için oldukça önemlidir. Çalışma Cifar-10 veri seti üzerinde gerçekleştirilmiştir. Otokodlayıcı görüntülerin anlamlı bir şekilde sıkıştırılmasında kullanılmıştır. Sıkıştırılan görüntülerin veri dağılımlarının kontrolü için Üretken Karşıt Ağlar (GANs) metodu kullanılmış ve sıkıştırılan görüntülerin dağılımı normal dağılıma yakınsanmıştır. CNN modelinin girdileri Cifar-10 görüntüleriyken LSTM modelinin girdileri Otokodlayıcı modelinin çıktısı olan sıkıştırılmış görüntü verileridir. Özellik çıkarma işlemi hem CNN hem LSTM modeli tarafından gerçekleştirilmiş ve çıkarılan özellikler birleştirilmiştir. Bu özellikler daha sonra yeni bir LSTM ve CNN modeline girdi olarak verilerek görüntülerin eksik kısımları tahmin edilmiştir. CNN ve LSTM iki farklı tahmin üretmektedir. Modelin eğitimleri sırasında hata metriği olarak Ortalama Karekök Sapması (RMSE), Yapısal Benzerlik İndeks Hesaplaması (SSIM), Üretken Karşıt Ağlar Kaybı ve VGG (Visual Geometry Group, önceden eğitilmiş model) kaybı kullanılmıştır. VGG kaybı daha önceden eğitilmiş VGG modelinin çıktıları arasındaki farkı ifade eder. Geliştirilen modelin sonuçları klasik yöntemler ile karşılaştırılmış ve tablo halinde paylaşılmıştır. Literatürde görüntülerin eksik kısımlarının tahminlenmesi için sıklıkla görüntü işleme metotları kullanılırken bu çalışmada hibrit bir model oluşturulmuştur. Hibrit model çıktısı LSTM çıktısının ve CNN çıktısının ağırlıklı ortalamasından oluşmaktadır. Hibrit model çıktısı, test veri seti üzerinde RMSE, Sinyal Gürültü Oranı (PSNR), SSIM ve Frechet Başlangıç Mesafesi (FID) metriklerinde test edilen modeller içerisinde en yüksek puanları alarak bu problem için uygunluğunu kanıtlamıştır.
Özet (Çeviri)
In this thesis, a hybrid model based on Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) and Autoencoder method were designed to predict missing parts of images. The estimation of missing parts in images is very important for images that have been interrupted, do not fit the cinema mode, and have an undesirable object. The study was worked on the Cifar-10 dataset. The autoencoder is used to compress the images in a meaningful way. Generative Adversarial Networks (GANs) method was used to control the data distributions of the compressed images and the distribution of the compressed images converged to the normal distribution. While the inputs of the CNN model are Cifar-10 images, the inputs of the LSTM model are compressed image data, which is the output of the Autoencoder model. Feature extraction was performed by both the CNN and LSTM model, and the extracted features were combined. These features were then given as input to a new LSTM and CNN model, and the missing parts of the images were estimated. CNN and LSTM generate two different forecasts. Root Mean Square Deviation (RMSE), Structural Similarity Index Calculation (SSIM), Generative Adversarial Networks Loss, and VGG (Visual Geometry Group, pre-trained model) loss were used as error metrics during the training of the model. The VGG loss represents the difference between the outputs of the previously trained VGG model. The results of the developed model were compared with the classical methods and shared in a table. While image processing methods are frequently used in the literature to predict missing parts of images, a hybrid model was created in this study. The hybrid model output consists of the weighted average of the LSTM output and the CNN output. The hybrid model output proved its suitability for this problem by getting the highest scores among the models tested on the RMSE, Signal-Noise Ratio (PSNR), SSIM and Fréchet Initial Distance (FID) metrics on the test dataset.
Benzer Tezler
- Deep convolutional neural network based unconstrained ear recognition
Derin evrişimsel sinir ağı tabanlı kısıtsız kulak tanıma
FEVZİYE İREM EYİOKUR
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
- Radiküler kist ve granülomların dijital histogram analizi ile ayırdedilmesi
Differention of radicular cyst and granulomas with digital histogram analysis
ÜLKEM AYDIN
Doktora
Türkçe
1998
Diş HekimliğiGazi ÜniversitesiDiş Hastalıkları ve Tedavisi Ana Bilim Dalı
PROF. DR. TAYFUN ALAÇAM
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Kaya kütlesindeki süreksizliklerin pürüzlülük ölçümleri için objektif yöntemlerin geliştirilmesi
Development of objective methods for measuring roughness of discontinuity surfaces in rock mass
İBRAHİM EMRE ÖNSEL
Doktora
Türkçe
2014
Maden Mühendisliği ve Madencilikİstanbul Teknik ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. CÜNEYT ATİLLA ÖZTÜRK
- Optimization of deep neural network architectures for the forest fire detection
Orman yangini tespitinde derin sinir aği mimarilerinin optimizasyonu
BERRİN SAVDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MÜŞTAK ERHAN YALÇIN
PROF. DR. HAZIM KEMAL EKENEL