Geri Dön

Assessing the impact of super-resolution on enhancing the spatial quality of historical aerial photographs

Tarihi hava fotoğraflarının mekansal kalitesini artırmada süper-çözünürlüğün etkisinin irdelenmesi

  1. Tez No: 876522
  2. Yazar: ABDULLAH HARUN İNCEKARA
  3. Danışmanlar: PROF. DR. DURSUN ZAFER ŞEKER
  4. Tez Türü: Doktora
  5. Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 98

Özet

Görüntü verisi günümüz yaşantısının önemli bilgi kaynaklarından biridir. Kullanım amacı ve alanından ve elde edinme donanımından bağımsız olarak kullanıcı bakış açısı ile bir görüntü için en önemli özellik ise kalitesidir. Kalite terimi hem nicelik hem de nitelik olarak değerlendirilebilmekle beraber direkt olarak çözünürlük ile ilişkilidir. Çözünürlük bir görüntüdeki detayların ayırt edilebilirlik seviyesini ifade etmektedir. Günümüz çalışmalarında da yüksek çözünürlüklü (YÇ) görüntüler daha çok tercih edilmektedir. Bununla birlikte kullanılabilir tüm görüntüler kullanım amacını yerine getirecek kadar yeterli çözünürlüğe sahip olamamaktadır. Donanımsal ve maliyet kısıtlamaları nedeniyle YÇ görüntüyü hem elde etmek hem de temin etmek her zaman mümkün olmadığı için daha düşük çözünürlüklü (DÇ) olan görüntülerin kullanım amacını yerine getirecek seviyede iyileştirilmesi gerekmektedir. Bu işlem ise süper-çözünürlük (SÇ) adı verilen tekniklerle mümkündür. DÇ bir görüntüden daha YÇ bir görüntünün elde edilmesi SÇ olarak adlandırılmaktadır. Bu noktada YÇ ifadesi ile belirtilmek istenen aslında YÇ'den daha iyi olan anlamındadır. Bir DÇ görüntünün aslında YÇ karşılığının bozulmuş versiyonu olduğu kabul edilmektedir. Bir başka ifade ile YÇ bir görüntüyü bozucu etkiler uygulandığında bazı bilgiler kayıp olacaktır. Bunun sonucunda daha düşük kalitede bir görüntü elde edilecektir ki bu da DÇ olarak adlandırılmaktadır. Bununla birlikte iyileştirilme ihtiyacı olan görüntü DÇ olandır ve mevcut olmayan görüntü ise YÇ olandır. Dolayısı ile DÇ'den YÇ'ye olan geçiş bir ters problemdir. Bu problemin çözümü için kayıp olduğu düşünülen bilgiler tespit edilmesi ve DÇ görüntüye tekrar geri yüklenmelidir. SÇ çalışmalarında günümüzde artık derin öğrenme (DÖ) destekli modeller kullanılamaktadır. Model performanslarını artırarak daha iyi YÇ görüntü elde etmek amacıyla çeşitli ağ dizaynları kullanılmaktadır. Bunlar temel olarak lineer öğrenme, artık öğrenme, özyinelemeli öğrenme, çok ölçekli öğrenme, yoğun bağlantılar, çekişmeli üretici ağlar ve dikkat yapılarıdır. DÖ tabanlı SÇ çalışmaları ilk olarak lineer öğrenmenin kullanıldığı Super-Resolution Convolutional Neural Network (SRCNN) modeli ile başlamıştır. Sonrasında benzer öğrenme stratejisini farklı ağ dizaynları ile uygulayan modeller ile başarım oranı artırılmaya çalışılmıştır. Lineer öğrenmeden sonra daha derin ağ daha yüksek performans bakış açısı ile artık öğrenmenin kullanıldığı modeller ağırlık kazanmıştır. İlk başlarda girdi ile çıktı arasında direkt bağlantı kurulan global artık öğrenme tercih edilmiş sonrasında ise ağ mimarileri derinleştikçe çok sayıda bağlantının kullanıldığı lokal artık ağ kullanılmıştır. Derinleşen ağlarda artan parametre sayısının pratik uygulamalarda kullanım zorluğu sebebiyle özyinelemli öğrenme SÇ çalışmalarında kullanılmaya başlanmıştır. Ağırlık özelliklerinin paylaşımı ile toplam parametre sayısının kontrol edilmesi prensibine dayanan özyinelemeli öğrenmede modeller çok daha hızlı çalıştırılmış fakat yok olan gradyan problemini de beraberinde getirmiştir. Bu kapsamda gerek artık öğrenmenin gerekse özyinelemeli öğrenmenin bir arada kullanıldığı yoğun bağlantılı modeller ileri sürülmüşlerdir. Sonrasında çekişmeli üretici ağ yapıları ile görsel olarak kaliteli görüntüler elde edilmiştir. Günümüzde ise SÇ çalışmalarında dikkat yapıları üzerine yoğunlaşma vardır. Özetle model performanslarını artırmak amacıyla öğrenme stratejileri değiştirilmiş, çeşitli kayıp fonksiyonları test edilmiş, ağ mimarileri çeşitli hiperparametreler ile modifiye edilmiştir. Bununla birlikte tüm efor salt algoritma bazlı gösterilmiş ve özellikle dikkat yapıları ile birlikte aslında tatmin edici sonuçlara ulaşılmıştır. SÇ çalışmalarında henüz tam anlamıyla çözüme kavuşturulmamış husus ise daha derin ağların oluşturduğu daha kompleks yapıların gerçek zamanlı uygulamalarda kullanımının pratik olmaması ve genellikle yaygın veri setleri üzerinde inşa edilen modellerin gerçek bir mühendislik probleminin çözümüne yönelik görüntülerin iyileştirilmesinde beklenen performansı gösterememesidir. İlki için daha hafif ağ mimarilerinin başarım oranları artırılmalıdır. İkincisi için ise problemin çözümüne yönelik olarak spesifik yaklaşımlar getirilmelidir. DÖ destekli SÇ çalışmalarında genellikle dijital görüntü işlemedeki farklı alanlarda da sıklıkla tercih edilen yaygın veri setleri kullanılmaktadır. Bunlar arasınd DIV2K eğitim amacıyla Set5 ve Set14 ise test amacıyla en çok tercih edilen veri setleridir. Bu veri setleri ise içerikleri dolayısıyla gerçek bir dünya/mühendislik probleminin çözümünden uzaktır. Dolayısıyla bu veri setleri üzerinde inşa edilen SÇ modelleri farklı içerikteki veri setlerinde her zaman başarılı olamamaktadırlar. Günümüzde SÇ çalışmalarının yoğunlaştığı veri gruplarından biri uzaktan algılanmış (UA) görüntülerdir. Elde edilme koşullarındaki farklılıklar, kapsadıkları alan ve içerdikleri detaylar sebebiyle UA görüntülerinin SÇ teknikleri ile iyileştirilmesi daha kompleks olmaktadır. Literatürdeki mevcut modeller UA görüntüleri özelinde modifiye edilerek YÇ görüntüler elde edilmeye çalışılmıştır. Farklı öğrenme stratejileri ve ağ dizaynları ile UA görüntüleri özelinde çok sayıda DÖ-destekli SÇ modeli ileri sürülmüştür. Özellikle Landsat ve Sentinel uydu görüntülerini iyileştirmek amacıyla yürütülen çalışmalar arazi kullanım ve örtüsü değişiminin zamansal tespitine yönelik uygulamaları daha efektif duruma getirmiştir. UA görüntüleri kapsamında SÇ çalışmalarında hemen hemen hiç değerlendirilmeye alınmamış görüntüler ise tarihi hava fotoğraflarıdır (THF). THF'ler UA görüntülerinin iyileştirilmesi sırasında barındırdığı olumsuz etkilerin haricinde ekstra kısıtlamalara sahiptirler. Bu görüntülerin basılı kopyadan dijital kopyaya dönüştürülmesi sırasındaki bilgi kayıpları, dönemin teknolojik imkanlarına bağlı olarak kullanılan veri edinme donanımları, bant sayısı ve renk bilgisinin eksikliği başlıca olumsuz kısıtlamalardır. Geçmişin günümüzde ilişkili problemlerinin çözümünde kilit bir role sahip oldukları için THF'lerin de SÇ teknikleri ile iyileştirilmesi gerekmektedir. DÖ destekli bir SÇ modelinin performansını etkileyen başlıca faktörler vardır. Bunlar veri setinin yapısı, kayıp fonksiyonları, görüntü değerlendirme kriterleri ve ağ dizaynıdır. Ağ dizaynı açısından kullanım amacını yerine getirecek kadar başarım oranı daha az parametre ile tasarlanan hafif ağlar ile sağlanmak zorundadır. Değerlendirme kriteri açısından her ne kadar piksel tabanlı metrik ölçütlerin görsel yorumlama ile uyuşumsuz olduğu çalışmalar olsa da yapısal benzerliği dikkate alan metrikler görsel yorumlama ile tutarlı sonuçlar vermektedir. Kayıp fonksiyonları tek başına bir kriter olmamakla birlikte kullanılan veri setinin içeriği ve tercih edilen ağ dizaynına bağlı olarak model performansını hem olumlu hem de olumsuz yönde etkileyebilmektedirler. Bu noktadaa ön plana çıkan faktör eğitim sırasında kullanılacak veri seti olmaktadır. DÖ-destekli bir SÇ modeli bilgiyi adım adım veriden toplamaktadır. Dolayısı ile veri setinin yapısal olarak kalitesi ve içerik olarak zenginliği iyileştirilen görüntünün kalitesini direkt olarak etkileyecek faktördür. Bu tez çalışmasında gri tonlamalı THF'lerin hafif DÖ-destekli SÇ modelleri ile daha performanslı iyileştirilmeleri amaçlanmıştır. Bu kapsamda veri seti içeriğine ve yapısına yönelik olarak yaklaşımlar getirilmiştir. Harita Genel Müdürlüğü'nden temin edilen farklı yıllara ait farklı çözünürlükteki ortofotolar temel veri kaynağı olarak kullanılmışlardır. Temin edilen ortofotolar 30 cm çözünürlüklü 1954 yılı, 40 cm çözünürlüklü 1968 ve 1993 yılı ve 10 cm çözünürlüklü 1982 yılına aittirler. Veri seti içeriğine yönelik yaklaşımda ortofotolardan yerleşim alanları, tarım alanları, ormanlık alanlar ve yalın arazi sınıflarına ait görüntüler ayrı ayrı çıkarılarak veri setleri oluşturulmuştur. Bu kapsamda THF'lerin barındırdığı kısıtlayıcı etkiler minimize edilmiştir. Bu kısıtlayıcı etkiler temel olarak spektral bant sayısı, görüntülerin gri-tonlamalı olmaları ve görüntülerdeki arazi kullanım ve örtüsü objelerinin sınırlı olmasıdır. DÖ-destekli SÇ modelleri çok bantlı görüntüler üzerinde inşa edildikleri için THF'ler üzerinde direkt olarak kullanımları mümkün olmamaktadır. Bu kısıtlamanın üstesinden gelmek amacıyla aynı bant iki kez kopyalanarak yapay 3-bantlı görüntüler oluşturulmuştur. Mevcut SÇ modelleri farklı spektral bantların sunduğu farklı özelliklerden faydalanmaktadırlar. Tek bantlı görüntü her ne kadar sayısal olarak üç bantlı hale getirilse de içerik olarak bir değişiklik olmamaktadır. Bu kısıtlamayı minimize etmek için aynı bölgeyi içeren farklı yıllara ait farklı çözünürlükteki görüntüler kullanılmıştır. Çok-bantlı görüntünün taklit edilmesi olarak adlandırılabilecek bu yaklaşım ile tek başına 3-farklı spektral bant içeren görüntüler eğitime dahil olmamış fakat aynı görüntünün farklı spektral bantları eğitime ayrı ayrı dahil edilmiş gibi olmuştur. Bir diğer kısıtlama olan renk bilgisinin eksikliği ise görüntülerin gri-tonlamalı olmasından kaynaklanmaktadır. Renk bilgisi gerek hem aynı kategorideki objelerin hem de farklı kategorilerde olmalarına rağmen benzerlik gösteren farklı objelerin birbirlerinden ayırt edilmelerinde önemlidir. Gri-tonlamalı THF'için mevcut olmayan renk bilgisinin eksikliği geniş yoğunluk aralığında görüntüler kullanılarak minimize edilmiştir. Farklı yoğunluk değerleri farklı gri-tonlamalar sunduğu için gerek aynı kategoride gerekse farklı kategoriler arasında birbirine benzer olan objeler için farklılığı sağlayan yoğunluk değerlerinden maksimum seviyede yararlanılmıştır. THF'ler için kısıtlamalardan bir diğeri olan DÇ-YÇ görüntü çiftlerinin içerik olarak yetersiz olması ise daha büyük boyutlarda görüntüler kullanılarak aşılmıştır. Verilerin elde edildiği yıllara bağlı olarak sınırlı sayıda sınıf mevcuttur. Konvolüsyon işlemi sırasında filtrelerin daha yüksek görüntü boyutlarında daha fazla çeşitlilik içeren görüntüler üzerinde bilgi toplaması sağlanmıştır. Veri setinin yapısına yönelik önerilen yaklaşım ise görüntü yorumlama elemanlarının hiyerarşisine dayanmaktadır. Bir görüntüde yer alan detaylar aslında görüntü yorumlama elemanlarıdır. Dolayısı ile SÇ tekniği ile görüntü yorumlama elemanları iyileştirildiği taktirde YÇ görüntü elde edilmiş olacaktır. Görüntü yorumlama elemanlarının hiyerarşisi ise farklı seviyeler ile ifade edilmektedir. İlk seviye renk ve ton bilgisine içermektedir ki bu elemanlar ortofolarda yer alan yalın arazi ve ormanlık alanlarda daha belirgindir. İkinci seviyede boyut, şekil ve doku mevcuttur. Bu elemanlara ait bilgileri en fazla yansıtan grup ise yerleşim alanlarıdır. Özellikle binalar şekil ve boyut anlamında en belirgin özellikleri taşımaktadırlar. Üçüncü seviyede örüntü yer almaktadır ve bu elemanı en iyi yansıtan grup tarım alanlarıdır. Bu kapsamda veri seti yalın arazi ve ormanlık alandan oluşan 1. seviye, yerleşim alanlarından oluşan 2. Seviye ve tarım alanlarından oluşan 3. Seviye olarak oluşturmuştur. Her bir veri seti SRCNN ile ayrı ayrı eğitilmiştir. Eğitilen her bir model ile test görüntüleri ayrı ayrı iyileştirilmiştir. İyileştirilen görüntülerden sonuç görüntüsünün elde edilmesi amacıyla iki farklı metodoloji uygulanmıştır. İlkinde iyileştirilmiş olan görüntülerin ortalaması alınarak direkt olarak sonuç görüntüsü oluşturulmuştur. Diğer metodolojide ise iyileştirilen her bir görüntü görüntülerin sol üst köşesinden başlayarak eş parçalara ayrılmıştır. Birbirlerine karşılık gelen eş parçalar arasında mekansal olarak daha kaliteli olanların bir araya getirilerek daha iyi bir sonuç görüntüsüne ulaşmak amaçlanmıştır. Bu kapsada her bir eş parça için referanssız görüntü kalite metriği hesaplanmıştır. Daha iyi sonuç veren parçalar bir araya getirilerek sonuç görüntü oluşturulmuştur. Her iki yaklaşımda iyileştirilen görüntülerin değerlendirilmesi için görsel yorumlamanın yanısıra referans tabanlı görüntü kalite metrikleri kullanılmıştır. Veri seti içeriğine yönelik yaklaşımda gerek piksel tabanlı gerekse yapısal benzerliği dikkate alan metrikler pozitif yönde ilerleme göstermişlerdir. Bu yaklaşımda görüntü kalite metriklerine bağlı sonuçlar görsel yorumlama ile de tutarlı olmuştur. Veri seti yapısına yönelik yaklaşımda ise sonuç görüntünün oluşturulmasında ikinci metodoloji daha iyi sonuçlar üretmiştir. Bununla birlikte eş parçalardan daha iyi olanın seçimi aşaması daha ileri seviye görüntü işleme tekniklerini gerektirmektedir.

Özet (Çeviri)

The level of distinguishability of details in an image is called resolution. In current studies, high-resolution (HR) images are generally preferred. However, not all available images may have resolution sufficient to fulfill their intended purpose. Due to hardware and cost constraints, it's not always feasible to obtain and prodecure HR images, hence low-resolution (LR) images need to be enhanced. This process is possible through techniques known as super-resolution (SR). SR is defined as obtaining an HR image from an LR one. It's accepted that an LR image is a degraded version of its HR counterpart. When detrimental effects are applied to an HR image, some information will be lost. Consequently, a lower-quality image will be obtained, which is referred to as LR. However, the image in need of enhancement is LR, while the unavailable image is HR. Therefore, transitioning from LR to HR is an inverse problem. To solve this problem, the lost information must be identified and restored to the LR image. In current SR studies, deep learning (DL) based models are now being utilized. Various network designs are employed to enhance model performance and achieve better image quality. These designs primarily include linear learning, residual learning, recursive learning, multi-scale learning, dense connections, generative adversarial networks, and attention mechanisms. DL-based SR studies initially began with the use of linear learning in the Super-Resolution Convolutional Neural Network (SRCNN) model. After linear learning, models utilizing residual learning with deeper networks and higher performance perspectives gained prominence. Due to the practical challenges posed by the increased number of parameters in deeper networks, recursive learning has been introduced in image processing studies. Recursive learning, based on the principle of parameter sharing to control the total number of parameters, allowed models to run much faster but introduced the vanishing gradient problem. In this context, dense- connected models incorporating both residual learning and recursive learning were proposed. Subsequently, visually high-quality images were obtained using generative adversarial network structures. Nowadays, there is a focus on attention mechanisms in SR studies. In summary, to improve model performance, learning strategies were altered, various loss functions were tested, and network architectures were modified with various hyperparameters. However, all efforts have been solely algorithm-based, and satisfactory results have actually been achieved, especially with attention mechanisms. One aspect that has not yet been fully addressed in SR studies is the impracticality of using deeper and more complex structures in real-time applications and the inability of models built on common datasets to deliver the expected performance in enhancing images for solving real-engineering problems. For the former, the performance rates of lightweight network architectures should be increased. For the latter, specific approaches tailored to solving the problem should be introduced. The remotely sensed (RS) images that have been scarcely evaluated in SR studies are historical aerial photographs (HAP). Besides the negative effects harbored during the enhancement of RS images, HAPs have additional constraints. Information losses during the conversion of printed copies to digital copies, data acquisition hardware used depending on the technological possibilities of the era, lack of spectral bands, and color information are the main negative constraints. Since HAPs play a crucial role in solving problems the present which is related to the past, they also need to be improved with SR techniques. In this thesis study, it is aimed to enhance the spatial quality of grayscale HAPs with DL-based SR model. In this context, approaches have been brought regarding the content and structure of the dataset. Orthophotos obtained from the General Directorate of Mapping of different years with different resolutions have been used as the primary data source. The acquired orthophotos belong to the years 1954 with a resolution of 30 cm, 1968 with resolutions of 40 cm and 70 cm, and 1982 with a resolution of 10 cm, and 1993 with a resolution of 40 cm. In the approach to dataset content, images of residential areas, farmland areas, forested areas, and bare land classes were extracted separately from orthophotos to create datasets. DL-based SR models cannot be directly used on HAPs because they are built on multi-spectral images. To overcome this limitation, artificial 3-band images were created by duplicating the same band twice. Although the single-band image is numerically converted to a three-band image, there is no change in content. To minimize this limitation, images of different resolutions from different years covering the same regions were used. This approach, which can be called imitating the multi-spectral image, did not include images containing only three different spectral bands in the training, but it seemed as if different spectral bands of the same image were included separately in the training. Another limitation is the lack of color information, which is due to the grayscale nature of the HAPs. The lack of color information for grayscale HAPs was minimized by using images with a wide range of intensities. Since different intensity values provide different grayscale tones, maximum use has been made of intensity values that provide differences for objects that are similar to each other both within the same category and across different categories. Another limitation for HAPs is that LR-HR image pairs are insufficient in content, which has been overcome by using larger size images. Depending on the years from which the data were obtained, there are a limited number of classes. During the convolution process, filters have been ensured to gather information on images containing more diversity in larger image sizes. The proposed approach for the dataset structure is based on the hierarchy of photo interpretation elements. The hierarchy of photo interpretation elements is expressed with different levels. The first level involves color and tone information, which are more pronounced in bare land and forest areas found in orthophotos. The second level includes size, shape, and texture. Residential areas represent the group that reflects these elements the most. The third level includes patterns, with farmland areas being the group that best reflects this element. Within this framework, the dataset is structured as the 1st level consisting of bare land and forest areas, the 2nd level consisting of residential areas, and the 3rd level consisting of farmland areas. The 1993 image was also used in the approach to the data set structure. Each of the three datasets were trained separately by means of SRCNN model. Two different methodologies were used to obtain the final image from separately trained data sets. The final image was created with the average of 3 different images improved in the first methodology. In the second methodology, each improved image was divided into pieces of equal size. A reference-free image quality metric was calculated for each part obtained. The final image was created by concatenating identical parts for which the quality metric gave better results. Approaches to both dataset content and dataset structure were evaluated with reference-based image quality metrics as well as visual interpretation. In the content-based approach, pixel-based metrics and structural similarity based metrics demonstrated positive progress. Evaluations made through visual interpretation also yielded consistent results with image quality metrics. This approach was also effective in reducing the softening effect on the output image. In the structural-based approach, creating the final image based on the reference-free image quality metric gave better results. However, the selectability of better image parts requires more advanced image processing techniques.

Benzer Tezler

  1. Demokrat Parti Döneminde iktidar-sivil toplum kuruluşları ilişkileri: 1950-1960

    Relations with non-governmental organizations Period ruling Democratic Party: 1950-1960

    ALİ ŞAĞAN

    Doktora

    Türkçe

    Türkçe

    2013

    Siyasal BilimlerMarmara Üniversitesi

    Atatürk İlkeleri ve İnkılap Tarihi Ana Bilim Dalı

    PROF. DR. CEMİL ÖZTÜRK

  2. The impact of social network marketing on consumers' intention to purchase preventive equipment during COVID-19 pandemic: A study of consumers in Istanbul

    COVID-19 pandemisi sürecinde sosyal medya pazarlaması ve tüketicilerin COVID-19 koruyucu malzeme satın alımı: İstanbul'daki bir çalışma

    FERDOWS QASIMI

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    İşletmeİstanbul Aydın Üniversitesi

    İşletme (İngilizce) Ana Bilim Dalı

    DOÇ. DR. İLKAY KARADUMAN

  3. Clustering and profiling scholars based on publication performance in bibliographic databases: A case of Turkey

    Bibliyografik veritabanlarını kullanarak yayın performansına göre bilim insanlarının kümelenmesi ve profil oluşturma: Türkiye örneği

    ALİ PİŞİRGEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Yönetim Bilişim SistemleriİZMİR BAKIRÇAY ÜNİVERSİTESİ

    Yönetim Bilişim Sistemleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SERHAT PEKER

  4. Damar yaşlanması ve hasarında THY-1 geninin rolünün transkripsiyon aşamasında analizi

    Transcriptional analysis of the role of the THY-1 gene in vascular aging and damage

    SARA SOLTANBEIGI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Tıbbi Biyolojiİstinye Üniversitesi

    Tıbbi Biyoloji ve Genetik Ana Bilim Dalı

    PROF. DR. VEYSEL SABRİ HANÇER

  5. Yapım yönetiminde kaynak planlama yaklaşımları ve kompüter destekli çoklu proje programlama

    Resource planning approaches and computer aided multi project scheduling in construction management

    ÖZLEM SARICI

    Yüksek Lisans

    Türkçe

    Türkçe

    1994

    Mimarlıkİstanbul Teknik Üniversitesi

    Y.DOÇ.DR. ALAATTİN KANOĞLU