Restoring underwater images from turbidity and motion blur – a three-step framework
Bulanıklık ve hareketten etkilenmiş sualtı görüntülerinin iyileştirilmesi – üç adımlı bir yaklaşım
- Tez No: 995609
- Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN, PROF. DR. SERHAT KÜÇÜKALİ
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Science and Technology, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yapay zeka ve makine öğrenmesi dersi, Artificial intelligence and machine learning course
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Underwater image restoration is essential for studying and visualizing marine life, aquatic ecosystems, underwater robotics, and optical communication systems. However, underwater imagery processing remains a difficult task because of the combined effects of turbidity, motion blur, and wavelength-dependent absorption. Phenomena like forward and backward scattering due to the suspended particles found in water bodies make imaging even more difficult. Degraded aquatic imagery eventually results from this loss of fine structural details, distorted color information, and decreased visibility, making image processing computationally challenging. Despite earlier underwater restoration models offering a suitable mathematical formulation to quantify such degradations, practical restoration of underwater imagery remains a difficult task. Traditional image enhancement methods that attempt to estimate degradation parameters and restore image quality manually are included in the literature review. However, these are not as reliable, particularly for multi-degradation cases where more than one artifact can be present at the same time. Recent developments in deep learning-based models have led to the widespread use of Generative Adversarial Networks (GANs) for underwater enhancement due to their capacity to produce high-quality synthetic output images. Diffusion models are also becoming increasingly popular for denoising visual data due to their exceptional ability to model real-world noise distributions. Nevertheless, the majority of approaches only deal with one kind of degradation, which restricts their use in actual underwater settings. Another important challenge is the scarcity of paired ground-truth underwater images, which hinders objective evaluation and makes supervised training much more difficult. Taking into consideration the inadequacies discussed above, the proposed approach in this study consists of enhancement framework based on noise parameters estimated using a human-made turbidity dataset. We make use of the pre-processing image enhancement techniques described in the literature to remove artifacts such as uneven illumination and haziness. In the first stage of our framework, Contrast-Limited Adaptive Histogram Equalization (CLAHE) is used to increase local contrast in the image by controlling the extent of noise augmentation. CLAHE basically improves the visibility of structural details and highlights important image features. In the second stage, an Adaptive Color Correction (ACC) module is employed that removes the color hue of the underwater environment by compensating for the absorption of certain wavelengths. In this stage, the images are classified as bluish images, greenish images, yellowish images, and color-balanced images based upon the channel statistics. This intensity adjustment allows the tonal range to be used efficiently while simultaneously enhancing global color fidelity. In the final stage, a diffusion-based denoising model refines the image further. In this case, we have approximated the values of the noise variance by the simulation of a realistic underwater scenario noise data that was prepared using soil and water. The mean and variance parameters extracted from this laboratory data were set to construct the synthesized noisy data images. This created data is then used for model training procedure via the forward diffusion process. Hence, it enables the diffusion model to learn noise patterns that closely resemble the real-life underwater degradations. The reverse diffusion model then finally reconstructs the output images by denoising the degraded images step-by-step. Conventional evaluation metrics like Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measure (SSIM) would not be effective in the case of underwater images that lack ground truth. In this work, we evaluated our proposed framework on two datasets: The Underwater Image Enhancement Benchmark Dataset (UIEBD) and the Turbidity Underwater Dataset (TUDS). Both these datasets were chosen as there was variation in their levels of turbidity, distortions in color, and illumination issues. Here, we have used relevant quantitative metrics, including entropy H(X), color accuracy ∆E, Naturalness Image Quality Evaluator (NIQE), Fréchet Inception Distance (FID), and Kernel Inception Distance (KID) to quantify the merits obtained at every stage of the enhancements. The obtained results demonstrated that there were substantial advancements made by the final step of the diffusion model when it comes to perceptual quality, and detail retention. An examination of the resulting images obtained at every step of the architecture further revealed that there have been progressive enhancements in the local contrast, color, and clarity of the noisy images. However, in spite of the very good results achieved by the proposed architecture, several impractical but unavoidable drawbacks are pointed out. Firstly, under some conditions, both CLAHE and ACC maycorrect images too much, which may result in extreme high contrast and unrealistic colors. To avoid such difficulties, it is necessary to manually adjust all parameters pertaining to different images and levels of turbidity. Secondly, it has been observed that a diffusion model performance is greatly dependent on the properties of images being used as the training data and the noise being modeled. This results in a diffusion model with less possibility to generalize well when test images with entirely different properties are considered in the underwater domain. This novel method is a crucial step ahead compared to other existing methods in the underwater image enhancement literature. This is an innovative technique that is capable of effectively simulating the noise that occurs in the real-life environment. It utilizes the noise parameters that were estimated from the turbidity sequences prepared in the laboratory. Secondly, traditional image processing methods applied in our research are capable of preparing the raw underwater images to be processed through enhancement of structural details as well as color contrast in images. Finally, diffusion model based denoising step follows realistic noise patterns and performs well under varying levels of water turbidity. Therefore, this method provides a useful tool in natural underwater image recovery with several applications in underwater communications research and the preservation of marine life.
Özet (Çeviri)
Denizaltı görüntüleme, deniz yaşam alanlarının gözlemlenmesi, sualtı robotik sistemlerinin kontrolü, çevresel koşulların izlenmesi, arkeolojik çalışmalar ve hatta biyolojik gözetim gibi birçok alanda büyük öneme sahip temel bir teknolojidir. Bu uygulamalarda doğru ve güvenilir yüksek kaliteli görüntü verilerine olan talep her geçen yıl artmaktadır. Bununla birlikte, su yüzeyinin altında bulunan alışılmadık optik koşullar, iyi görüntüler elde etmeyi son derece zorlaştırmaktadır. Bu nedenle, sualtı görüntü kurtarma üzerine yapılan araştırmalar, akademisyen çevreleri ve endüstri uygulayıcıları arasında en önemli önceliklerden biri haline gelmiştir. Bu makale, sualtı görüntülerinin işlenmesi sırasında karşılaşılan sorunlara ve mevcut literatürde ele alınan yöntemlere genel bir bakış sunmanın yanı sıra, önerilen üç aşamalı gelişmiş bir iyileştirme yaklaşımını da sunmaktadır. En büyük zorluk, suyun havadan çok daha fazla ışığı emmesi ve saçması nedeniyle su altı görüntülerinin elde edilmesidir. Bu nedenle, askıda kalan katı maddeler, organik madde ve mikroskobik parçacıklar hem doğrudan emilim hem de nispeten yoğun bir sisleme etkisi yaratan geri saçılma ile birlikte, derinlikle birlikte kırmızı kanalda renk zayıflamasına ve görüntülerde yaygın mavi-yeşil ton kaymalarına neden olur. Diğer sorunlar arasında tutarsız aydınlatma, soğuk renk tonları, bulanıklık, hareket bulanıklığı ve düşük aydınlatma seviyeleri yer alır; bunlar su altı görüntülerinin yapısal ve algısal kalitesini birçok açıdan olumsuz etkiler. Geleneksel iyileştirme teknikleri yalnızca bir tür bozulmaya karşı etkilidir; ancak bu bozulmalar gerçek bir su altı ortamında çoğunlukla birlikte bulunur ve tek adımlı yaklaşımlarla tutarlı bir şekilde ele alınamaz. Bu nedenle, bu çalışma birbirini tamamlayan çok aşamalı bir iyileştirme yaklaşımının neden gerekli olduğunu ortaya koymaktadır. Literatürde su altı görüntü iyileştirme için kullanılan yöntemler genel olarak klasik iyileştirme yöntemleri ve derin öğrenme tabanlı teknikler olarak sınıflandırılabilir. Klasik yöntemler arasında histogram eşitleme, beyaz dengesi teknikleri, Retinex tabanlı yaklaşımlar ve fiziksel model tabanlı sis giderme yöntemleri yer almaktadır. Bu yöntemler kontrastı ve renk dağılımını iyileştirse de, aşırı düzeltme, detay kaybı ve düzensiz renk dağılımlarına neden olmaktadır. Derin öğrenme tabanlı yöntemler ise GAN tabanlı yaklaşımlara, CNN tabanlı modellemeye ve son zamanlarda popüler hale gelen difüzyon tabanlı modellere dayanmaktadır. Bu modeller hem sentetik hem de gerçek su altı veri kümelerinde iyi performans gösterse de, farklı bulanıklık seviyeleri ve aydınlatma koşullarına göre kararlılık sorunları yaşıyor gibi görünmektedir. Bu eksiklikler, daha kontrollü, daha evrensel ve birden fazla bozulmayı aynı anda ele alabilen bir restorasyon yaklaşımını gerekli kılmaktadır. Bu ihtiyaca yönelik olarak bu çalışma, çoklu bozulmayı aşamalı ve kademeli biçimde düzeltmeyi hedefleyen üç aşamalı bir görüntü iyileştirme çerçevesi önermektedir. Önerilen mimari, klasik iyileştirme yöntemlerinin kararlılığını, öğrenme tabanlı yöntemlerin öğrenilebilirliğini ve modern difüzyon yaklaşımlarının gücünü bir araya getirmektedir. Çerçevenin ilk aşaması olan CLAHE (Contrast Limited Adaptive Histogram Equalization), yerel kontrastı adaptif bir şekilde artırarak ayrıntı ve doku bilgisini güçlendirmektedir. Standart histogram eşitleme tüm görüntüye tek bir global düzeltme uygularken, CLAHE görüntüyü daha küçük alt bölgelere ayırmakta ve her bölgenin kendi dağılım karakterine göre kontrast iyileştirmesi yapmaktadır. Bu sayede gerek derin su ortamları gibi düşük ışıklı sahnelerde gerekse yoğun türbidite içeren görüntülerde ayrıntı kaybına yol açmadan yapısal detayların ortaya çıkarılması mümkün olmaktadır. Bu aşama, sonraki adımlarda uygulanacak renk düzeltimi için sağlam ve dengeli bir temel oluşturmaktadır. İkinci aşama olan Adaptive Color Correction (ACC), su altı ortamına özgü renk bozulmalarını hedef almaktadır. Bu yöntemde görüntüler öncelikle bluish, greenish, yellowish veya balanced olmak üzere arka plan rengine göre sınıflandırılmaktadır. Bu sınıflandırma, her görüntüde farklı oranlarda baskın olan renk kanalının daha etkin biçimde düzeltilmesine olanak sağlamaktadır. Bluish sınıfında yoğunlaşan görüntülerde yeşil kanal referans alınarak kırmızı kanal güçlendirilmektedir. Yellowish görüntülerde ise mavi ve yeşil kanallar, kırmızı kanal temel alınarak dengelenmektedir. Renk dağılımı zaten dengeli olan (balanced) görüntülerde ise ek bir renk düzeltmesi uygulanmamaktadır. Bu aşamada kullanılan dinamik kazanç ayarlamaları, hem global hem de lokal renk dağılımını daha doğal hale getirerek gerçekçi renk tonlarının elde edilmesini sağlamaktadır. Ayrıca bu aşama, özellikle renk hatalarının nicel olarak ölçüldüğü (∆E) değerlerinde belirgin bir düşüş sağlamaktadır. Üçlü çerçevenin son aşaması, restorasyon sürecine difüzyon tabanlı bir modelin entegre edildiği adımdır. Bu aşama, su altı görüntülerinde gürültü, sislenme ve düşük frekanslı bozulmalar gibi türbidite kaynaklı etkilerin giderilmesini amaçlamaktadır. Difüzyon modelleri, ileri difüzyon sürecinde görüntüye kademeli olarak gürültü ekleyerek veri dağılımını öğrenir. Ardından, ters difüzyon aşamasında, öğrenilen olasılıksal yapıdan yararlanılarak görüntü adım adım yeniden oluşturulur. Bu çalışmada, ters difüzyon süreci, U-Net tabanlı mimari kullanılarak modellenmiştir. Model, istatistiksel olarak gerçek bir sualtı verisi oluşturan bir tür gürültü dağılımını öğrenmek suretiyle, verilere en uygun ortalama ve varyans tahminlerini etkili bir şekilde öğrenmektedir. Böyle bir yaklaşım, restorasyon sürecini gerçekçi ve kararlı kılacaktır. Difüzyon kısmı, yeniden canlandırılan ayrıntılar ve algısal doğal olma açısından en iyi kazancı sağlayan kısımdır. Yapılan renk dağılımlarının doğal rekabete girme seviyeleri, sisin gözle görülür şekilde ışığa doğru yayılmasının azalması ve dokusal bilgilerin daha belirgin oluşu, bu aşamada oluşan en baskın katkılardır. Önerilen yöntem, Underwater Image Enhancement Benchmark Dataset (UIEBD) ve Turbidity Underwater Dataset (TUDS) gibi yaygın olarak kullanılan iki kapsamlı su altı görüntü iyileştirme veri seti üzerinde değerlendirilmiştir. Bu veri setleri, farklı türbidite seviyeleri, renk bozulmaları ve aydınlatma koşulları açısından geniş bir çeşitlilik sunmaktadır. Nicel değerlendirme amacıyla bilgi içeriğini ölçen entropi (H(X)), renk doğruluğunu ifade eden ∆E, algısal kaliteyi değerlendiren NIQE, dağılım benzerliğini ölçen FID ve istatistiksel farklılıkları analiz etmek için kullanılan KID metrikleri uygulanmıştır. CLAHE aşaması, entropi değerini artırarak yerel ayrıntıların daha belirgin hale geldiğini göstermiştir. ACC aşaması ise renk doğruluğunu iyileştirerek ∆E değerlerinde kayda değer bir düşüş sağlamıştır. Difüzyon modelinin uygulandığı son aşama, algısal doğallık metriklerinde en yüksek iyileşmeyi ortaya koymuştur; NIQE değeri UIEBD veri setinde 3.1 seviyesinden 2.0 seviyesine gerilemiş, TUDS veri setinde de benzer bir iyileşme gözlemlenmiştir. FID ve KID skorlarındaki azalma, üretilen görüntülerin istatistiksel olarak daha doğal bir dağılıma yaklaştığını doğrulamaktadır. Nitel gözlem analizleri, yoğun türbidite içeren sahnelerde, hareketli nesnelerde ve düşük ışıklı koşullarda dahi önerilen iyileştirme sürecinin tutarlı ve kararlı sonuçlar ürettiğini göstermiştir. Önerilen çerçevenin birçok nicel ve nitel değerlendirmede öne çıkmasına rağmen, bazı sınırlamaları da bulunuyor. Difüzyon tabanlı aşama, klasik görüntü işleme yöntemlerine göre daha fazla hesaplama gücü gerektiriyor. Bu nedenle, gerçek zamanlı uygulamalar için ek optimizasyonlar yapmak gerekebilir. Ayrıca, aşırı bulanıklık seviyelerine sahip veya renk kanallarında ciddi bozulmalar içeren görüntülerde, modelin veri setine özel ince ayarlamalar yapması muhtemel. Yine de, üç aşamalı çerçevenin genel yapısı, farklı su altı koşullarına uyum sağlayabilen, kararlı ve esnek bir iyileştirme yaklaşımı sunuyor. Sonuç olarak, bu çalışma, birden fazla su altı bozulmasını tek aşamalı yaklaşımların zorlandığı şekilde kapsamlı bir biçimde ele alan yeni bir çerçeve sunuyor. Önerilen yapı, hem yapısal açıklık hem de renk doğruluğu sağlarken, algısal doğallığı da belirgin bir şekilde artırıyor. Bu çerçevenin, akademik araştırmaların yanı sıra su altı robotik sistemleri, arama-kurtarma operasyonları, biyolojik gözlemleme ve çevresel izleme gibi gerçek dünya uygulamalarında pratik katkılar sunma potansiyeli bulunuyor. Bu bağlamda, çalışma, su altı görüntü işleme literatürüne hem teorik hem de uygulamalı açıdan önemli bir katkı sağlıyor ve gelecekte geliştirilecek yöntemler için sağlam bir temel oluşturuyor.
Benzer Tezler
- Blind underwater image restoration using operational cycle-gans
Su altı görüntülerinin operasyonel döngü tutarlı uzetken karsıt aglar ile gözü kapalı restorasyonu
ÖZER CAN DEVECİOĞLU
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİzmir Ekonomi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. TÜRKER İNCE
- Hava kirliliği konusunda çevre bilgi sistemi tasarımı ve gerçekleştirilmesi pilot projesi
Design of an information system about air pollution
HARUN İYİDİKER
- Tatil köylerinde arsa-yerleşim şeması-yoğunluk ilişkileri
The Relationship among building area-settlement schema density compenents in holiday villages
ÖMER EREM
- Optimization of collapsed mode cmut receiver for maximum off-resonance sensitivity
Çökme modu cmut alıcısının rezonans altı duyarlılık hassasiyet eniyileştirilmesi
MANSOOR KHAN
Doktora
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAYRETTİN KÖYMEN
- The effects of marine protected areas on the ecosystem in the Eastern Mediterranean
Deniz koruma alanlarının Doğu Akdeniz'de ekosisteme olan etkileri
DENİZ EŞKİNAT
Yüksek Lisans
İngilizce
2024
Balıkçılık TeknolojisiOrta Doğu Teknik ÜniversitesiDeniz Biyolojisi ve Balıkçılık Ana Bilim Dalı
PROF. DR. ALİ CEMAL GÜCÜ
