Geri Dön

İçerik tabanlı görüntü erişimi ile uzaktan algılama verilerinde obje arama

Object retrieval in remote sensing data using content based imaged retrieval

PDF İndir

  1. Tez No: 931667
  2. Yazar: ÖZGE TOKMAK
  3. Danışmanlar: PROF. DR. NEBİYE MUSAOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 67

Özet

Uzaktan algılama, mevcut durum tespiti, çevresel değişikliklerin izlenmesi, kentsel planlama, afet yönetimi gibi birçok konuda kritik role sahiptir. Özellikle erişimi zor ve geniş coğrafi bölgelerde amaca uygun uzaktan algılama verisi ve görüntü işleme teknikleri ile farklı ölçeklerde bilgi üretilebilir. Görüntü işleme teknikleri, hızla gelişen yapay zeka teknolojileri sayesinde büyük uzaktan algılama veri setlerinden karmaşık bilgileri hızlı ve doğru bir şekilde çıkarmayı mümkün kılar. Bu sayede yapay zeka teknolojileri kullanılarak uzaktan algılama verilerindeki objelerin tespitinde manuel yöntemlere göre daha kolay ve hızlı bilgi çıkartılması hedeflenebilir. Her geçen gün ilerleyen teknoloji ile elektriğe duyulan ihtiyaç hayatın her alanında artmaktadır. Tarım, sanayi, sağlık, eğitim, ev ve iş yeri gibi temel gereksinimlerin karşılanmasında en önemli kaynaklardan olan elektrik enerjisi insan yaşamının devamı ve yaşam kalitesinin artmasında önemli bir rol oynamaktadır. Olası elektrik kesintileri, insan faaliyetlerinin aksamasına ve ekonomik kayıplara sebebiyet verebilir. Bu sebeple elektrik enerjisinin, üretim yerlerinden son kullanıcıya ulaştırılmasına kadar olan aşamalarının kesintisiz sağlanabilmesi için güçlü bir altyapıya sahip olması gerekir. Temel bir altyapı bileşeni ve elektrik enerjisinin yüksek gerilim enerji nakil hatlarından tüketicilere ulaştırılması aşamalarında üretim, iletim, dağıtım sistemlerinin bağlantı noktası olan trafo merkezleri; açık alanlarda inşa edilen yapılar oldukları için doğal afetler ve atmosferik şartlardan sıklıkla etkilenir. Bu nedenle, erişilmesi zor ve maliyetli olan elektrik altyapı bileşenlerinin mevcut durumunun izlenmesi, yönetilmesi, doğal afetler sonrası hasar tespiti gibi konularda aksiyonlar alınması için hızlı ve etkili bir şekilde bilgi çıkartılması gerekmektedir. Uzaktan algılama verileri ile bu bilgilerin çıkartılması mümkündür. Fakat uzaktan algılama veri setleri büyük görüntü koleksiyonlarına sahip olduğu için çoğu zaman hedeflenen objenin tespitini manuel yöntemlerle gerçekleştirmek mümkün olmayabilir. Bu çalışmada İçerik Tabanlı Görüntü Erişimi yöntemiyle, elektrik unsurlarının yönetimi açısından büyük önem taşıyan trafo merkezlerinin, uzaktan algılama veri setindeki diğer görüntüler içerisinden bulunması amaçlanmıştır. Bir görüntü veri setinden obje arama için içerik tabanlı ve metin tabanlı gibi yaklaşımlar kullanılabilir. Metin tabanlı yaklaşımlarda objelerin aranması için görsellerin etiketleri ile metinsel sorguların eşleşmesi gerekir. İçerik Tabanlı Görüntü Erişimi yönteminde ise veri setindeki görüntülerde herhangi bir etiketleme veya açıklama olmadan da obje aranabilir. Bu yöntemde sorgu girdisi metin değil görüntüdür. Görsel veri tabanlarında benzer görüntüleri bulmak için kullanılan bu yöntemin temel çalışma mekanizması; veri tabanındaki görüntülerin özelliklerinin çıkarılmasının ardından çıkarılan özelliklere dayanarak sorgu görüntüsüne en benzer görüntülerin aranması şeklindedir. Tez çalışması 6 temel aşamadan oluşmaktadır. Bu aşamalar: (1), PatternNet veri setindeki 38 farklı sınıftan 100'er rastgele görüntü seçilerek eğitim sınıfının oluşturulması, (2) Sisteme sorgu görüntüsü olarak verilecek görüntülerden test sınıfı oluşturulması, (3) Seçilen bu uzaktan algılama görüntülerindeki objelerden, trafo merkezi gibi ayırt edilmesi zor bir objenin bulunması için derin öğrenme tabanlı, popüler CNN modellerinden özellik çıkarımı, (4) Sisteme PatternNet test veri setinden sorgu görüntülerinin yüklenmesi ve sorgu görüntülerine en benzer ilk-k hedef görüntünün aranması deneyleri, (5) Sisteme Türkiye test veri setinden sorgu görüntülerinin yüklenmesi ve sorgu görüntülerine en benzer ilk-k hedef görüntünün aranması deneyleri, (6) Deneylerin performans sonuçlarının karşılaştırılmasıdır. Bu tez çalışması kapsamında, sisteme trafo merkezi sorgu görüntüleri verilip veri setinde yer alan tüm görüntüler içerisinden diğer trafo merkezi görüntülerinin İçerik Tabanlı Görüntü Erişimi yöntemi ile bulunması ve sırasıyla en benzer ilk-k hedef görüntünün getirilmesi hedeflenmiştir. Deneyler 3 farklı derin öğrenme modeli ile yapılmıştır. Bu derin öğrenme modelleri VGG-19, ResNet50 ve EfficientNetB0'dır. Yapılan deneylerde bu 3 farklı model ile sorgu görüntüsüne en benzer ilk-5, ilk-10 ve ilk-50 hedef görüntünün aranması amaçlanmıştır. Sorgu ve hedef görüntüler arasındaki benzerlik Kosinüs benzerliği yöntemi kullanılarak yapılmıştır. Sistemin trafo merkezini arama performansları ise Ortalama Kesinlik ve Genel Ortalama Kesinlik metrikleri kullanılarak hesaplanmıştır. Modellerin ilk-5, ilk-10 ve ilk-50 arama için Genel Ortalama Kesinlik sonuçları sırasıyla %96.00, %93.00 ve %74.67 olarak bulunmuştur. Deney sonuçları doğrultusunda; beklenildiği gibi ilk-k en benzer görüntü sayısı arttıkça performans sonuçlarının ilk-5'e kıyasla düşük olduğu gözlenmiştir. İlk-5 en benzer görüntü arama performansı ise tüm modellerin sonuçları ayrı ayrı incelendiğinde de en yüksek performansı göstermiştir. Çalışmada, VGG-19 modelinin PatternNet veri setindeki görüntülerin özelliklerini ayrıntılı bir şekilde çıkarıp yüksek performans yakaladığı ancak derinliğinden dolayı eğitim sürecinde diğer modellere göre işlem süresinin daha uzun olduğu, ResNet50 ve EfficientNetB0 modellerinin eğitim sürecinin daha hızlı gerçekleştiği ve 3 modelin de trafo merkezi görüntülerini aramada etkili olduğu görülmüştür. İçerik Tabanlı Görüntü Erişimi Yöntemi, geleneksel metin tabanlı arama yaklaşımlarından farklı olarak görüntülerden çıkartılan görsel özellikleri kullanarak arama yapar. Çıkartılan görsel özelliklere göre çeşitli hesaplama yöntemleri sorgu ve hedef görüntüler arasındaki benzerlikler bulunur ve obje arama bu benzerlik kullanılarak yapılır. Çalışma kapsamında elde edilen deneysel sonuçlar, İçerik Tabanlı Görüntü Erişimi için modellerin performans sonuçlarının istenilen benzer görüntü sayısı ile bağlantılı olduğunu göstermektedir.

Özet (Çeviri)

Remote sensing plays a critical role in various areas such as monitoring current conditions, observing environmental changes, urban planning, and disaster management. Particularly in inaccessible and vast geographical regions, it is possible to generate information at different scales using remote sensing data and image processing techniques. Thanks to the rapidly advancing artificial intelligence technologies, image processing techniques make it possible to quickly and accurately extract complex information from large remote sensing datasets. In this way, artificial intelligence technologies aim to facilitate faster and easier information extraction from remote sensing data compared to manual methods, especially for object detection. With the ever-advancing technology, the demand for electricity is increasing in every aspect of life. Electricity, as a vital resource for agriculture, industry, healthcare, education, homes, and workplaces, plays an essential role in sustaining human life and improving the quality of life. Electric energy is an indispensable necessity for sustaining human life in modern societies. It is unimaginable to have even a moment without electricity, which is utilized in every aspect of today's world. Potential power outages can disrupt human activities and lead to economic losses. Therefore, a robust infrastructure is necessary to ensure the seamless production, transmission, and distribution of electricity from generation sites to end users. The seamless operation of infrastructure components is essential for electricity generation, transmission, distribution, and control processes. Electric transmission and distribution facilities serve as critical points in the energy flow for delivering generated electricity to end users. Transformer stations, a fundamental infrastructure component and connection point in the production, transmission, and distribution systems, are critical in delivering high-voltage electricity to consumers. However, as these stations are open-air structures, they are frequently affected by natural disasters and atmospheric conditions. Therefore, it is crucial to quickly and effectively extract information for monitoring, managing, and assessing the conditions of these costly and hard-to-access infrastructure components, especially after natural disasters. Administrative administrations aim to achieve faster and less costly results by using the methods and data brought by developing technology in accessing information about infrastructure elements in cities for the effective management of electricity resources. Examples of these methods include artificial intelligence methods and remote sensing data. Remote sensing data makes it possible to extract this information. However, due to the large size of remote sensing datasets, it is often not feasible to identify target objects manually. This study aims to search transformer station images, which are critical for electricity management, within remote sensing datasets using the Content Based Image Retrieval method. For object retrieval in an image dataset, both content-based and text-based approaches can be used. In text-based approaches, the search is conducted by matching textual queries with the tags of the images. In the Content Based Image Retrieval method, objects can be retrieved from the dataset without any tagging or description. Instead of text, the query input is an image. This method, which is used to find similar images in visual databases, works by extracting features from the images in the database and searching for the images most similar to the query image based on these features. This method, which has a wide range of applications, is used in different sectors such as medicine, remote sensing, e-commerce and security. One of the most popular Content Based Image Retrieval methods is Google Image Search's image search engine. Again, the option to see similar products to a selected product on e-commerce sites is one of the examples whose main operating principle is the Content Based Image Retrieval method. This thesis consists of five main stages: (1) Selecting 100 random images from 38 different classes in the PatternNet dataset to form the training class. (2) Creating a test class from the images designated as query inputs for the system. (3) Extracting features from objects in the selected remote sensing images, such as transformer stations, which are difficult to distinguish, using popular deep learning-based Convolutional Neural Network (CNN) models. (4) Conducting experiments to retrieve the top-k most similar target images to the query images. (5) Comparing the performance results of the experiments. In this thesis, the system is designed to retrieve images of transformer stations from the entire dataset by providing transformer station query images and returning the top-k most similar target images using the Content Based Image Retrieval method. The basic working mechanism of this method used to find similar images in visual databases is to extract the features of the images in the database and then search for the most similar images to the query image based on the extracted features. Content Based Image Retrieval methods are divided into two main categories: learning and feature-based methods, and these methods have different techniques within themselves. Feature-based methods are methods in which the shape, color, texture and local features of the image are extracted through algorithms. Learning-based methods are methods consisting of machine learning and deep learning techniques. Recently, with the widespread use of artificial intelligence systems, deep learning-based approaches have become increasingly popular. This has inspired the use of deep learning in applications for image analysis. These methods are implemented by training images with deep learning models and extracting their features. After the model is trained, it is tested with images from a different dataset to evaluate its performance. A query image is queried from the test images to search for images from the dataset. A list of images from the dataset that are similar to the query image according to the learned features is returned. The returned list is the ranking of the similarity calculated by various methods. The first step in this study is selecting 100 random images from 38 different classes in the PatternNet dataset to form the training class. The PatternNet dataset is a dataset specifically designed for Content-Based Image Retrieval, collected from various states in the United States. Unlike other remote sensing datasets, PatternNet images generally lack extensive backgrounds, which often include objects other than the target object. This characteristic reduces the accuracy of target object searches in Content Based Image Retrieval applications. The second step is the creating a test class from the images designated as query inputs for the system. For this purpose, query test data is randomly selected from the images in the PatternNet dataset. The third step is the extracting features from objects in the selected remote sensing images, such as transformer stations, which are difficult to distinguish, using popular deep learning-based CNN models. CNN models are employed to develop the feature extraction module of the Content Based Image Retrieval system. CNNs are artificial neural networks used in deep learning. They achieve highly successful results on large-scale data at low cost and high speed in various applications such as image similarity, image classification, and object detection. The experiments were conducted with three different CNN models: VGG-19, ResNet50, and EfficientNetB0. These experiments aimed to search for the top-5, top-10, and top-50 most similar target images for each query image. For this study all training images were resized according to the standard 224 × 224 pixels that the CNN architectures used in the study should have. In this study, the similarity between query and target images was measured using the cosine similarity method. The performance of image retrieval systems depends not only on the feature extraction process but also on the similarity measurement of the extracted features. Similarity measurement is a quantitative evaluation of how closely the target images resemble the query image. Using this similarity measurement, the most similar images in the dataset are identified. Cosine similarity is a method based on measuring the angular similarity between two vectors. The value range of the similarity result is between [0, 1] or [-1, 1]. The closer the value is to 1, the greater the similarity. The last step is the system's performance in retrieving transformer stations was evaluated using the metrics of Average Precision and Mean Average Precision. The Mean Average Precision results for the three models for the top-5, top-10, and top-50 searches were found to be 96.00%, 93.00%, and 74.67%, respectively. In this study, a novel approach has been proposed for the automatic detection of transformer substations, which are of great importance in the management of electrical elements, using Content Based Image Retrieval and deep learning-based models. The performance of retrieving the top-k most similar transformer substation images was evaluated. By providing a query image of a transformer substation to the system, the goal was to retrieve other transformer substation images from the dataset using the VGG-19, ResNet50, and EfficientNetB0 CNN models. Experimental results showed that the VGG-19 model was highly successful in extracting detailed features from images and achieved high performance. However, due to its depth, its processing time was longer compared to the other models. On the other hand, the ResNet50 and EfficientNetB0 models produced faster results. It was observed that all three models were effective in retrieving transformer substation images. As expected, the performance results decreased as the number of top-k similar images increased compared to the top-5 retrieval performance. When analyzing the top-5 retrieval performance individually for all models, it was found that this scenario yielded the highest performance. The Content Based Image Retrieval method calculates similarity between images by utilizing visual features without requiring labeling. It identifies the target images from the dataset based on this similarity to the given query image. Experimental results obtained in this study demonstrate that the performance of the models for Content Based Image Retrieval is directly related to the number of desired similar images. It is anticipated that, in future studies, the use of higher-capacity hardware and larger datasets will further improve accuracy.

Benzer Tezler

  1. Tez No

    123235

    Bilgisayar ve internet destekli uzaktan eğitim programlarının tasarım, geliştirme ve değerlendirme aşamaları (SUZEP örneği)

    Design, development and evaluating stages of computer and internet supported distance education program (on the model of SUZEP)

    BİROL GÜLNAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Radyo-TelevizyonSelçuk Üniversitesi

    Radyo Televizyon Ana Bilim Dalı

    PROF.DR. AHMET HALUK YÜKSEL

  2. Tez No

    866115

    A novel content-based retrieval system for hyperspectral remote sensing imagery

    Hiperspektral uzaktan algılama görüntüleri için yenilikçi bir içerik tabanlı erişim sistemi

    FATİH ÖMRÜUZUN

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. YASEMİN YARDIMCI ÇETİN

    PROF. DR. UĞUR MURAT LELOĞLU

  3. Tez No

    650016

    Derin öğrenme ile çoklu bantlı uzaktan algılanmış görüntülerin içerik tabanlı erişimi

    Content based multivariate remote sensing image retrieval with deep learning

    ÖZGÜ GÖKSU

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ERCHAN APTOULA

  4. Tez No

    397836

    Smart card and biometric based general purpose access control system design

    Akıllı kart ve biyometrik tabanlı genel amaçlı erişim kontrolü sistemi tasarımı

    SERCAN AYGÜN

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ECE OLCAY GÜNEŞ

  5. Tez No

    479843

    Seyrek temsil ile içerik tabanlı görüntü erişimi

    Content based image retrieval with sparse representation

    CEYHUN ÇELİK

    Doktora

    Türkçe

    Türkçe

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HASAN ŞAKİR BİLGE

Geri Dön