Derin öğrenme tabanlı kenar rehberli görüntü iç boyama
Edge guided image inpainting based on deep learning
- Tez No: 859240
- Danışmanlar: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Harran Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 65
Özet
Görüntü iç boyama, hasarlı veya eksik bölgelerin, mevcut görüntü bilgilerinden yararlanarak yeniden inşa edilmesi işlemidir. Derin öğrenme tekniklerinin gelişmesiyle birlikte bu alanda önemli ilerlemeler kaydedilmiş olsa da ciddi düzeyde hasarlı görüntülerin yapısal ve dokusal özelliklerini doğru bir şekilde yeniden oluşturmak hâlâ büyük bir zorluk teşkil etmektedir. Bu çalışmada Koşullu Doku ve Yapı Çift Üretimi (CTSDG) mimarisine dayalı görüntü iç boyama performansını iyileştiren geliştirmeler sunulmaktadır. Baz alınan mimari yapısal ve dokusal olmak üzere iki ayrı akışa sahiptir. Yapısal akış, görüntünün genel düzenini ve yapısını yakalamaya odaklanırken, dokusal akış detaylı doku sentezini gerçekleştirmektedir. İki akış arasındaki ilişkiyi güçlendirmek için çeşitli yeni modüller kullanılmıştır. Bunlardan çift yönlü sıkma ve uyarım ağı içeren geçitli özellik füzyonu her iki yöndeki sıkma ve uyarım işlemleriyle özellik birleştirme sürecini iyileştirmektedir. İyileştirilmiş bağlamsal özellik toplama modülü ise çok ölçekli özellikleri toplayarak çıktıları geliştirmektedir. Buna ek olarak Seçici Çekirdek Özellik Birleştirme ile entegre edilmiş Çift Dikkat Mekanizması birbirini tamamlayıcı özellikleri bir araya getirmektedir. Bu sayede hasarlı girdilerden daha tutarlı yapı ve doku elde edilebilmektedir. Yapılan nicel deneyler PSNR değerinde %0-20 maskeler için %2,69, SSIM değerinde %40-60 maskeler için %1.43 oranında iyileşme göstermiştir. Nitel sonuçlar ise, ciddi düzeyde hasarlı görüntülerin eksik bölgelerinin çok daha yüksek görsel kalitede yeniden yapılandırılabildiğini ortaya koymuştur
Özet (Çeviri)
Image inpainting is the process of reconstructing damaged or missing regions in an image by utilizing the available image information. Although deep learning techniques have enabled significant progress in this field, accurately reconstructing the structural and textural properties of severely corrupted images continues to pose a significant challenge. In this study presents enhancements to improve the image inpainting performance based on the Conditional Texture and Structure Dual Generation (CTSDG) architecture. The CTSDG architecture consists of two separate streams: a structural stream dedicated to capturing the overall layout and structure of the image, and a texture stream specialized in detailed texture synthesis. Various innovative modules have been utilized to strengthen the relationship between these two streams. One such module is the Gated Feature Fusion with Bidirectional Squeeze and Excitation (Bi-SE-GFF), which enhances the feature fusion process through bidirectional squeeze and excitation operations in both directions. Furthermore, the Enhanced Contextual Feature Aggregation (ECFA) module improves the outputs by aggregating multi-scale contextual features. Additionally, the Dual Attention Mechanism integrated with Selective Kernel Feature Fusion (SKFF) combines complementary features, allowing for more coherent structure and texture generation from corrupted inputs. Quantitative experiments demonstrate that the proposed approach achieves a 2.69% improvement in PSNR for 0-20% mask ranges and a 1.43% improvement in SSIM for 40-60% mask ranges compared to the baseline. Qualitative results indicate that the missing regions in severely corrupted images can be reconstructed with significantly higher visual quality.
Benzer Tezler
- Derin öğrenme tabanlı görevlerin kenar bilişim yöntemiyle uzak sunucuya taşınması
Offloading tasks to remote server for deep learning based applications over edge computing system
HÜSEYİN ENES İLHAN
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
- Graph theory based traffic light management
Grafik teorisi tabanlı trafik ışığı yöntemi
ADAM RIZVI THAHIR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. VEHBİ ÇAĞRI GÜNGÖR
DR. ÖĞR. ÜYESİ MUSTAFA COŞKUN
- Deep learning-based building segmentation using high-resolution aerial images
Yüksek çözünürlüklü hava görüntüleri kullanarak derin öğrenme temelli bina bölütlemesi
BATUHAN SARITÜRK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Derin öğrenme tabanlı gerçek zamanlı video analiz uygulamaları için dağıtık kenar hesaplama sistemi
Distributed edge computing system for deep learning based real-time video analysis applications
İRFAN KILIÇ
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GALİP AYDIN
- Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar
Densely connected structures in deep learning based image denoising
VEDAT ACAR
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU