Geri Dön

Derin öğrenme tabanlı kenar rehberli görüntü iç boyama

Edge guided image inpainting based on deep learning

  1. Tez No: 859240
  2. Yazar: MUHAMMET NURİ DUDAK
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Harran Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 65

Özet

Görüntü iç boyama, hasarlı veya eksik bölgelerin, mevcut görüntü bilgilerinden yararlanarak yeniden inşa edilmesi işlemidir. Derin öğrenme tekniklerinin gelişmesiyle birlikte bu alanda önemli ilerlemeler kaydedilmiş olsa da ciddi düzeyde hasarlı görüntülerin yapısal ve dokusal özelliklerini doğru bir şekilde yeniden oluşturmak hâlâ büyük bir zorluk teşkil etmektedir. Bu çalışmada Koşullu Doku ve Yapı Çift Üretimi (CTSDG) mimarisine dayalı görüntü iç boyama performansını iyileştiren geliştirmeler sunulmaktadır. Baz alınan mimari yapısal ve dokusal olmak üzere iki ayrı akışa sahiptir. Yapısal akış, görüntünün genel düzenini ve yapısını yakalamaya odaklanırken, dokusal akış detaylı doku sentezini gerçekleştirmektedir. İki akış arasındaki ilişkiyi güçlendirmek için çeşitli yeni modüller kullanılmıştır. Bunlardan çift yönlü sıkma ve uyarım ağı içeren geçitli özellik füzyonu her iki yöndeki sıkma ve uyarım işlemleriyle özellik birleştirme sürecini iyileştirmektedir. İyileştirilmiş bağlamsal özellik toplama modülü ise çok ölçekli özellikleri toplayarak çıktıları geliştirmektedir. Buna ek olarak Seçici Çekirdek Özellik Birleştirme ile entegre edilmiş Çift Dikkat Mekanizması birbirini tamamlayıcı özellikleri bir araya getirmektedir. Bu sayede hasarlı girdilerden daha tutarlı yapı ve doku elde edilebilmektedir. Yapılan nicel deneyler PSNR değerinde %0-20 maskeler için %2,69, SSIM değerinde %40-60 maskeler için %1.43 oranında iyileşme göstermiştir. Nitel sonuçlar ise, ciddi düzeyde hasarlı görüntülerin eksik bölgelerinin çok daha yüksek görsel kalitede yeniden yapılandırılabildiğini ortaya koymuştur

Özet (Çeviri)

Image inpainting is the process of reconstructing damaged or missing regions in an image by utilizing the available image information. Although deep learning techniques have enabled significant progress in this field, accurately reconstructing the structural and textural properties of severely corrupted images continues to pose a significant challenge. In this study presents enhancements to improve the image inpainting performance based on the Conditional Texture and Structure Dual Generation (CTSDG) architecture. The CTSDG architecture consists of two separate streams: a structural stream dedicated to capturing the overall layout and structure of the image, and a texture stream specialized in detailed texture synthesis. Various innovative modules have been utilized to strengthen the relationship between these two streams. One such module is the Gated Feature Fusion with Bidirectional Squeeze and Excitation (Bi-SE-GFF), which enhances the feature fusion process through bidirectional squeeze and excitation operations in both directions. Furthermore, the Enhanced Contextual Feature Aggregation (ECFA) module improves the outputs by aggregating multi-scale contextual features. Additionally, the Dual Attention Mechanism integrated with Selective Kernel Feature Fusion (SKFF) combines complementary features, allowing for more coherent structure and texture generation from corrupted inputs. Quantitative experiments demonstrate that the proposed approach achieves a 2.69% improvement in PSNR for 0-20% mask ranges and a 1.43% improvement in SSIM for 40-60% mask ranges compared to the baseline. Qualitative results indicate that the missing regions in severely corrupted images can be reconstructed with significantly higher visual quality.

Benzer Tezler

  1. Derin öğrenme tabanlı görevlerin kenar bilişim yöntemiyle uzak sunucuya taşınması

    Offloading tasks to remote server for deep learning based applications over edge computing system

    HÜSEYİN ENES İLHAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. HAKAN ALİ ÇIRPAN

  2. Graph theory based traffic light management

    Grafik teorisi tabanlı trafik ışığı yöntemi

    ADAM RIZVI THAHIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. VEHBİ ÇAĞRI GÜNGÖR

    DR. ÖĞR. ÜYESİ MUSTAFA COŞKUN

  3. Deep learning-based building segmentation using high-resolution aerial images

    Yüksek çözünürlüklü hava görüntüleri kullanarak derin öğrenme temelli bina bölütlemesi

    BATUHAN SARITÜRK

    Doktora

    İngilizce

    İngilizce

    2022

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. DURSUN ZAFER ŞEKER

  4. Derin öğrenme tabanlı gerçek zamanlı video analiz uygulamaları için dağıtık kenar hesaplama sistemi

    Distributed edge computing system for deep learning based real-time video analysis applications

    İRFAN KILIÇ

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GALİP AYDIN

  5. Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar

    Densely connected structures in deep learning based image denoising

    VEDAT ACAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU