Geri Dön

Görüntülerdeki eksik kısmın tamamlanması amaçlı derin öğrenme temelli hibrit bir model geliştirilmesi

Development of a deep learning based hybrid model to complete the missing part in the images

PDF İndir

  1. Tez No: 740137
  2. Yazar: HASAN BASRİ AKÇAY
  3. Danışmanlar: DOÇ. DR. ÖVÜNÇ POLAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Akdeniz Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 42

Özet

Bu tez çalışmasında görüntülerin eksik kısımlarının tahminlenmesi üzerine Konvolüsyonel Sinir Ağı (CNN), Uzun Kısa Süreli Bellek (LSTM) temelli hibrit bir model ve Otokodlayıcı (Autoencoder) metodu tasarlanmıştır. Görüntülerdeki eksik kısımların tahmini, gönderim işlemi yarıda kesilmiş, sinema moduna uymayan ve istenmeyen bir nesneye sahip olan görüntüler için oldukça önemlidir. Çalışma Cifar-10 veri seti üzerinde gerçekleştirilmiştir. Otokodlayıcı görüntülerin anlamlı bir şekilde sıkıştırılmasında kullanılmıştır. Sıkıştırılan görüntülerin veri dağılımlarının kontrolü için Üretken Karşıt Ağlar (GANs) metodu kullanılmış ve sıkıştırılan görüntülerin dağılımı normal dağılıma yakınsanmıştır. CNN modelinin girdileri Cifar-10 görüntüleriyken LSTM modelinin girdileri Otokodlayıcı modelinin çıktısı olan sıkıştırılmış görüntü verileridir. Özellik çıkarma işlemi hem CNN hem LSTM modeli tarafından gerçekleştirilmiş ve çıkarılan özellikler birleştirilmiştir. Bu özellikler daha sonra yeni bir LSTM ve CNN modeline girdi olarak verilerek görüntülerin eksik kısımları tahmin edilmiştir. CNN ve LSTM iki farklı tahmin üretmektedir. Modelin eğitimleri sırasında hata metriği olarak Ortalama Karekök Sapması (RMSE), Yapısal Benzerlik İndeks Hesaplaması (SSIM), Üretken Karşıt Ağlar Kaybı ve VGG (Visual Geometry Group, önceden eğitilmiş model) kaybı kullanılmıştır. VGG kaybı daha önceden eğitilmiş VGG modelinin çıktıları arasındaki farkı ifade eder. Geliştirilen modelin sonuçları klasik yöntemler ile karşılaştırılmış ve tablo halinde paylaşılmıştır. Literatürde görüntülerin eksik kısımlarının tahminlenmesi için sıklıkla görüntü işleme metotları kullanılırken bu çalışmada hibrit bir model oluşturulmuştur. Hibrit model çıktısı LSTM çıktısının ve CNN çıktısının ağırlıklı ortalamasından oluşmaktadır. Hibrit model çıktısı, test veri seti üzerinde RMSE, Sinyal Gürültü Oranı (PSNR), SSIM ve Frechet Başlangıç Mesafesi (FID) metriklerinde test edilen modeller içerisinde en yüksek puanları alarak bu problem için uygunluğunu kanıtlamıştır.

Özet (Çeviri)

In this thesis, a hybrid model based on Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) and Autoencoder method were designed to predict missing parts of images. The estimation of missing parts in images is very important for images that have been interrupted, do not fit the cinema mode, and have an undesirable object. The study was worked on the Cifar-10 dataset. The autoencoder is used to compress the images in a meaningful way. Generative Adversarial Networks (GANs) method was used to control the data distributions of the compressed images and the distribution of the compressed images converged to the normal distribution. While the inputs of the CNN model are Cifar-10 images, the inputs of the LSTM model are compressed image data, which is the output of the Autoencoder model. Feature extraction was performed by both the CNN and LSTM model, and the extracted features were combined. These features were then given as input to a new LSTM and CNN model, and the missing parts of the images were estimated. CNN and LSTM generate two different forecasts. Root Mean Square Deviation (RMSE), Structural Similarity Index Calculation (SSIM), Generative Adversarial Networks Loss, and VGG (Visual Geometry Group, pre-trained model) loss were used as error metrics during the training of the model. The VGG loss represents the difference between the outputs of the previously trained VGG model. The results of the developed model were compared with the classical methods and shared in a table. While image processing methods are frequently used in the literature to predict missing parts of images, a hybrid model was created in this study. The hybrid model output consists of the weighted average of the LSTM output and the CNN output. The hybrid model output proved its suitability for this problem by getting the highest scores among the models tested on the RMSE, Signal-Noise Ratio (PSNR), SSIM and Fréchet Initial Distance (FID) metrics on the test dataset.

Benzer Tezler

  1. Tez No

    541786

    Deep convolutional neural network based unconstrained ear recognition

    Derin evrişimsel sinir ağı tabanlı kısıtsız kulak tanıma

    FEVZİYE İREM EYİOKUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HAZIM KEMAL EKENEL

  2. Tez No

    70899

    Radiküler kist ve granülomların dijital histogram analizi ile ayırdedilmesi

    Differention of radicular cyst and granulomas with digital histogram analysis

    ÜLKEM AYDIN

    Doktora

    Türkçe

    Türkçe

    1998

    Diş HekimliğiGazi Üniversitesi

    Diş Hastalıkları ve Tedavisi Ana Bilim Dalı

    PROF. DR. TAYFUN ALAÇAM

  3. Tez No

    759996

    Derin öğrenme ile cerrahi video anlama

    Surgical video understanding with deep learning

    ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DUYGU SARIKAYA

  4. Tez No

    384889

    Kaya kütlesindeki süreksizliklerin pürüzlülük ölçümleri için objektif yöntemlerin geliştirilmesi

    Development of objective methods for measuring roughness of discontinuity surfaces in rock mass

    İBRAHİM EMRE ÖNSEL

    Doktora

    Türkçe

    Türkçe

    2014

    Maden Mühendisliği ve Madencilikİstanbul Teknik Üniversitesi

    Maden Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. CÜNEYT ATİLLA ÖZTÜRK

  5. Tez No

    782325

    Optimization of deep neural network architectures for the forest fire detection

    Orman yangini tespitinde derin sinir aği mimarilerinin optimizasyonu

    BERRİN SAVDA

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. MÜŞTAK ERHAN YALÇIN

    PROF. DR. HAZIM KEMAL EKENEL

Geri Dön