Estimation and restoration for heat haze effects in image and video processing
Görüntü ve video işlemede ısı dalgalanması etkilerinin tahmini ve restorasyonu
- Tez No: 878245
- Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 73
Özet
Görsel kaliteyi düşüren birçok bozucu etkiler vardır. Isı dalgası etkisi bunlardan biridir. Bu etki atmosferik türbülans, ısı mirajı veya ısı sintilasyonu olarak da adlandırılır. Bu etki, özellikle uzaktaki nesnelerin odaksız bir şekilde görülmesine neden olur. Isıdan kaynaklanan bu bozucu etkinin birden fazla nedeni vardır. Bunlardan biri ısıdan etkilenen bölgelerdeki katmanlar arasında oluşan sıcaklık farkı; ikincisi ısınan alanlarda meydana gelen heterojen kırılma indisi varlığı sebebiyle oluşan ışığın kırılması olayı; üçüncüsü ise sıcak havanın dalgalanma etkisidir. Isı dalgalanmasının tespiti, insan görsel sistemi (HVS) aracılığı ile, özellikle video verilerinden kolaylıkla görülebilmektedir. Aynı zamanda bu ısı dalgalanması etkisinin, dijital görüntü korelasyonu (DIC) ölçümleri kullanarak bir tahmin metodu vardır. Bu metodun uygulanmasında bazı adımlar uygulanır. Bu adımlar, ROI belirleme, DIC parametresi ayarlama, DIC analizi gerçekleme, yer değiştirme biçimlendirme ve gerinim hesaplamalarıdır. Zaman verimliliği açısından ilk olarak RoI belirlenir. DIC parametresi olarak görüntüdeki altkümeler arası boşluk parametresi ayarlanır ki bu parametre gürültülü verilere neden olmayacak şekilde seçilmelidir. DIC analizi adımı zaman verimliliği açısından çoklu iplik metodu ile işlemleri paralel hale gelmesini sağlar. Bunun için seçilen RoI, eşit altkümeler içeren bölgelere ayrılır. Yer değiştirme biçimlendirme adımında distorsiyon bilgisinin piksel değerinin milimetrik olan birim değere dönüşmesi işlemi uygulanır. Son olarak gerinim hesaplamasında, gürültülü sonuçlardan kaçınma amacıyla, gerinim kümeleri bir düzlem üzerine uygun gerinim daire yarıçap değerleri seçilerek oturtulur. Bu adımlara girdi olarak referans ve mevcut (karşılaştırılan) görüntü verileri kullanılır. Bu referans ve mevcut görüntü kareleri birbirinden çıkartılarak iki farklı kare arasındaki bozunma bilgisi elde edilir. Bu distorsiyon bilgisi yer değiştirme ve gerinim vektörleri olarak görüntü üzerine yerleştirilen görsel grafik haritalarında sunulur. Distorsiyon değerine göre grafik haritası renklendirilir ve görüntüdeki distorsiyonun nerede ve hangi yoğunlukta olduğu bu renk haritaları aracılığıyla tahmin edilir. Bu tahmin hem ısı bozunmalı hem de bozunmasız durumlar için yapılmıştır. Bozunmalı durumların tahmini için bozunmamış bir referans karesinin yanında bozunmalı kare setleri kullanılır. Bozunmasız durumların distorsiyon tahmini için ise yine aynı bozunmasız referans karesinin yanında karşılaştırma için bozunmasız karenin devam eden görüntü setleri kullanılır. Isı dalgası etkisi doğal ortamda meydana geldiğinden dolayı, simüle olmayan gerçek görüntüler için bozunmasız baz verinin elde olmamasından ötürü bozunmalı görüntüler restore edilmiştir. Bozunmasız durum için elde edilen distorsiyon bilgisinin sıfıra yakın sonuç vermesi, restorasyon algoritmasının gücünü göstermektedir. Elde edilen distorsiyon bilgisi ile bozunmalı veriler üzerine ters konvolüsyon uygulanarak restorasyon yapılabilir. Ancak ısı dalgası etkisinin doğal olarak var olması sebebiyle gerçekte bozunmasız veri olmadığından ötürü bu metot sadece ısı dalgası etkisinin gösterimi amacıyla uygulanmıştır. Isı bulanıklığının restorasyonu olarak, derin öğrenme tabanlı metotlar yerine dalgacık temeline dayalı olan, model tabanlı bir iyileştirme metodu kullanılmaktadır. İyileştirme işleminde bazı adımlar uygulanmıştır. Bu adımlar, RoI hizalama, kare seçimi, görüntü kaydetme, görüntü füzyonu ve son işlemedir. RoI hizalama, referans olarak çerçevenin ortasına yakın olarak seçilen rastgele RoI dışındaki diğer benzer RoI'lere aşındırma işlemi uygulanarak kenarlarını temizleme ve daha sonra çerçeve ortalarına doğru ROI'leri hizalama kuralına dayanır. Kare seçimi, keskinlik, yoğunluk ve kontrast parametrelerine göre kareleri seçer. Görüntü kaydetme hareket tespiti ile gürültü olarak nitelendirilen yüksek sinyal bileşenlerini tespit eder ve bunları elimine ettikten sonra kalan sinyal bilgilerini kaydeder. Görüntü füzyonu birden fazla giriş karelerinin yüksek frekans bileşenlerini tek bir çıkış görüntüsünde birleştirir. Son işleme metodu olarak kontrast iyileştirme uygulanır. Bu adımlardan en önemlisi olan görüntü füzyon aşamasında, sürekli ve kesikli gibi diğer dalgacık dönüşümlerine göre avantaj sağlayan yönsel seçicilik ve kaydırmada değişmezlik özelliklerine sahip olan çift ağaçlı kompleks dalgacık dönüşümü (DT-CWT) füzyon metodu kullanılmıştır. Sürekli dalgacık dönüşümü sinyallerin zamandaki sürekli değişimi gösterir ve sinyali yer değiştirme ve ölçeklendirme parametreleri ile yeniden ifade eder. Sinyallerin kesikli zaman formunda örneklenmiş hali olan, kesikli dalgacık dönüşümü, filtreleme ve aşağı ölçekleme ile sinyalleri bileşenlerine ayırarak detay ve yaklaşık katsayıları elde eder. Bu ayrışım birkaç seviyeden oluştuğu zaman filtre bankası adını alır. DWT, tamamen reel bir dönüşümdür. Çift ağaçlı kompleks dalgacık dönüşümü (DT-CWT) ise adından da anlaşıldığı üzere kompleks bir dönüşümdür ve ağaçlar 2 reel DWT dönüşümünden meydana gelerek kompleks halini alır. 2 boyutlu kesikli dalgacık dönüşümü sinyallere HH, HL ve LH olmak üzere 3 adet filtre uygulamaktadır. Bu filtreler yatay, düşey ve diyagonal olmak üzere 3 farklı yönde filtrelemeye katkı sağlar. Kompleks dönüşüm olan 2 boyutlu DT-CWT ise her biri 6 dalgacığa sahip reel ve imajiner yönelimli dönüşümler içerir. Bu dönüşümlerin dürtü tepkileri farklı olsa da filtreleme açıları aynıdır. Dolayısıyla DT-CWT'de filtreler, 6 farklı açıya sahiptir. DT-CWT, çok yönlü seçici filtreye sahip olmasından ötürü yönsel seçicilik; kompleks olmasından ötürü osilasyon ve örtüşme durumlarının üstesinden gelerek kaydırmada değişmezlik özelliğine sahiptir. Bu özellikleri sayesinde dönüşüm sonucunda daha keskin ve gürültüsüz çıkış verileri elde edilmektedir. Dolayısıyla DT-CWT, atmosferik türbülans giderme uygulamasında kullanılmasının yanında gürültü temizleme, hareket tespiti, markalama, doku çözümlemesi, segmentasyon, sınıflandırma gibi birçok uygulamada kullanılabilir. Görüntü füzyon metodu olarak piksel bazlı ve bölge bazlı olmak üzere 2 farklı metot kullanılabilir. Piksel metodu, pikselleri kullanarak birleştirme yaparken; bölge bazlı metot pikselleri gruplandırarak özniteliklerin çıkarımına dayalı segmentasyon haritası ek adımı ile füzyon yapar. Füzyon kuralı olarak, DWT füzyonunda, maksimum seçme (MS), ağırlaştırılmış ortalama alma (WA) ve pencere bazlı doğrulama (WBV) gibi yöntemlerden biri kullanılırken, DT-CWT'de maksimum seçme (MS) ve ağırlaştırılmış ortalama alma (WA) birlikte kullanılır. Yaklaşık katsayılar olarak adlandırılan yüksek frekans bileşenlerine maksimum seçme işlemi uygulanırken, detay katsayılar olarak adlandırılan alçak frekans bileşenlerine ortalama alma işlemi uygulanır. Daha sonra ters DT-CWT (IDT-CWT) ile tek bir çıkış elde edilir. Restorasyon algoritmasına göre, bir restoreli çıktı elde etmek için birkaç giriş karesi gerekmektedir. Bu algoritmaya ek ve teze katkı olarak, sıralı gelen bozunmalı giriş kareleri kaydırılarak, elde edilen birkaç giriş karelerinden sırasıyla çıkış kareleri elde edilir ve daha sonra bu çıkış kareleri video haline getirilerek restoreli video elde edilir. Bu tezde, karşılaştırma olarak önerilen algoritmanın performansını görmek için insan görsel sistemi (HVS), tam referans (FR) ve referans gerektirmeyen (NR) metotlar kullanılmaktadır. Tam referans (FR) karşılaştırması olarak GSSM, GMSD, tek-ölçekli SSIM ve çok-ölçekli SSIM metotları kullanılmaktadır. Gradyan büyüklüğü benzerliği ortalaması (GMSM) metodunda piksellerin aynı öneme sahip olduğu varsayımı ile piksellerin ortalamasını alır. Gradyan büyüklük benzerlik sapması (GMSD), yerel kalite bozulmasındaki değişikliklerin görünümüdür ve standart sapma almaya dayanır. Bu yüzden GMSD'nin sonucu GMSM ile ters yorumlanır. Daha düşük GMSD skoru görsel kalitenin iyi olduğunu gösterir. Tek ve çok ölçekli yapısal benzerlik ortalaması (SSIM), görüntü çerçevesinden parlaklık, zıtlık ve keskinlik gibi yapısal benzerlikleri kullanarak skor elde eder. Bu tam referans metotları için, kalite puanı elde etmek için bir referans bir de karşılaştırılan ham video dizilerine ihtiyaç vardır. Referans olarak, doğal olarak var olması sebebiyle, bozunmuş video kullanılmış, karşılaştırmalı video yerine ise restore edilmiş video kullanılmıştır. Ayrıca referans gerektirmeyen metot olan NR metodu da uygulanmıştır. NR metodunda sadece bir görüntü karesi kullanılarak, JPEG kalite skoru elde edilir. Referans olmadığı için karelerden bloklama, aktivite ve sıfır geçiş (ZC) oranı gibi öznitelikler çıkartılarak skor elde edilir. Bu skor hem doğal olarak bozunmuş çerçeve için hem de karşılaştırılan restoreli çıkış çerçeveleri için elde edilmiştir. Kalite metrikleri, algoritmalar arasında karşılaştırma oluşturmak için, kameranın hazır algoritma sonucu elde edilen restoreli verisi ile iki farklı füzyon metodunu (piksel-tabanlı ve bölge-tabanlı) içeren restorasyon algoritması sonucu elde edilen verilere uygulanmıştır. NR ve FR metriklerinin genel özetine bakıldığında önerilen DT-CWT füzyon tabanlı restorasyon algoritmasının, kamera algoritmasından daha iyi olduğu görülmektedir. DT-CWT'nin piksel-tabanlı veya bölge-tabanlı karşılaştırmasında ise bölge-tabanlı füzyon metodunun daha iyi sonuçlar verdiği görülmektedir. Ayrıca bölge tabanlı füzyonun görüntüdeki her piksel yerine öznitelikler ile ilgilenmesi sayesinde restoreli çıkış görüntü ve video verilerine bakıldığında gürültüsüz veriler elde edilmesinde daha etkili olduğu görülmüştür. Ancak bölge tabanlı metodun işleyiş süresi ek bir segmentasyon haritası çıkarma adımı içermesi sebebiyle piksel bazlı metoda göre 2,75 kat daha fazladır. Algoritmalar aynı zamanda sahadan faklı mesafeli kamera bakış açısına sahip sahnelerden alınan verilere uygulanmıştır. Bu sayede mesafe arttıkça ısı bozunması etkisinin artması olayının algoritma performansına etkisine de bakılmıştır. Metrik skorundan performansın düştüğü gözlemlense de video verileri üzerinden HVS ile yorumlandığında ısı dalgalarını gidermede restorasyon metodumuzun oldukça başarılı olduğu görülmektedir. Isı dalgası giderme yönteminin ödün vermesi olarak detay kaybetme ve hareketli nesnelerde görülen hayalet etkisi problemleri kameranın algoritması sonucu için HVS ile gözlemlenmektedir. DT-CWT ile uygulanan füzyon kuralı ile detay kaybetme probleminin üstesinden gelinmiştir. Aynı zamanda hayalet etkisi de bu çalışmada kullanılan restorasyon algoritması sonucuna göre daha azdır. Fakat gelecek çalışmalarda hayalet etkisine yönelik olması açısından hareket tespitine dayalı temizleme yapılabilir. Ayrıca ısı giderme algoritmasının gerçek kamera görüntülerinde kullanılabilmesi açısından çalışmanın gerçek zamanlı video verilerine uygulanabilmesi gerekmektedir. Bu işlem için işleyiş süresi karmaşıklığının üstesinden gelebilmek amacıyla kodlamanın MATLAB platformundan, CUDA kütüphanesi kullanmak üzere C++ veya Python gibi dillere dönüştürülmesi yani işlemlerin GPU'ya taşınması hedef çalışmalar arasında yer alabilir
Özet (Çeviri)
There is various type of distortions that decrease visual quality. Heat haze effect is one of them. It makes the distant objects difficult to see clearly. It causes by such reasons that temperature difference, heterogeneous refractive index, or flow of hot air fluctuation. It is known as heat haze, heat scintillation, heat mirage or atmospheric turbulence. The existing of heat haze can be easily seen with human visual system (HVS) especially from the videos. There is also an estimation method by using digital image correlation (DIC) measurements which shows the displacement and strain errors with colored vector plots. In this method, it is obtained distortion information by subtracting the compared images from each other. A comparison was made for both heat hazy and unhazy situations. To obtain the distortion information, it is used hazy or unhazy set of frames alongside one unhazy reference frame for hazy and unhazy situations, respectively. The reference unhazy frame is obtained from our restoration algorithm which is located at second part of this thesis for not-simulated natural data, due to the nonexistence in reality. Thus, this estimation just to visualize the effect of heat haze. As a restoration of heat haze, there is a model-based enhancement method is used, which is wavelet based, instead of deep learning-based methods. Some steps were applied in enhancement process. RoI alignment, frame selection, image registration and post-processing steps are applied. In an image fusion step that is the most important one in this steps, dual tree complex wavelet transform (DT-CWT) fusion is used having its directional selectivity and shift-invariance properties which is an advantage in accordance with other wavelet transforms. The restoration algorithm needs a few input frames to obtain one restored output frame. Then as an addition to the algorithm and a contribution to the thesis, successive hazy input frames are shifted to create output frames to obtain a restored video. At the end of this thesis, there is a comparison section, with the usage of HVS, full reference (FR) and no-reference (NR) methods. In full reference comparison which includes GSSM, GMSD, single-scale SSIM and multi-scale SSIM methods, a reference and a compared raw video sequences are needed to obtain quality scores. As a reference, hazy video was used due to its existence in natural, and as a compared video, the restored video output is used. In this thesis, the NR method, which is a method that does not require a reference, is also applied. In the NR method, JPEG quality score is obtained by using one restored image frame. Quality methods were applied to the result of our restoration algorithm, which includes two different fusion methods (pixel-based and region-based), with the camera's ready algorithm result, to create a comparison between algorithms. Also, for at different distance image scenes, NR metric was applied. Looking at the overall summary of NR and FR metrics, our DT-CWT fusion-based restoration algorithm is better than the camera algorithm in terms of not losing details and removing heat waves. In the pixel-based or region-based comparison of DT-CWT, it is seen that the region-based fusion method gives better results in terms of obtaining unnoisy data and removing heat waves especially at high distances. As a future work, in order to get rid of the ghost effects, which is seen in moving objects, motion detection algorithm can be added. Another improvable work is to accelerate the implementation to implement the algorithm in real-time video.
Benzer Tezler
- Eski renkli filmlerdeki bozuklukları algılama ve onarmada karma bir yaklaşım modeli
A hybrid approach model for detection and restoration of defects in old color films
BEKİR DİZDAROĞLU
Doktora
Türkçe
2006
Elektrik ve Elektronik MühendisliğiKaradeniz Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALİ GANGAL
- Köyceğiz Gölü su kalitesi yönetimi için egölem modeli
Başlık çevirisi yok
TARIK TOLGA ÜSTÜN
Yüksek Lisans
Türkçe
1998
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. İ. ETHEM GÖNENÇ
- Milli Savunma Bakanlığı inşaat emlak teşkilatında ödeneklerin planlama ve görevlerin yürütülme esasları ile problemlerin çözüm yöntemleri
Başlık çevirisi yok
HÜSEYİN IŞIK
Yüksek Lisans
Türkçe
1997
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. DOĞAN SORGUÇ
- Behramkale'de koruma sorunları ve tek yapı ölçeğinde bir onarım önerisi, Sedat Alık evi
Conservation problems in Behramkale and a restoration proposal for Sedat Alık village house
İLHAN OKAN YAZGAN
- Hareket kestirimi
Motion estimation
AYLA ÇEVİK
Yüksek Lisans
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MELİH PAZARCI