Vessel detection from very high-resolution satellite images with deep learning methods
Derin öğrenme metotları kullanılarak çok yüksek çözünürlüklü uydu görüntülerinden gemi tespiti
- Tez No: 737828
- Danışmanlar: PROF. DR. MUSTAFA YANALAK
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Elektrik ve Elektronik Mühendisliği, Mühendislik Bilimleri, Science and Technology, Electrical and Electronics Engineering, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: İletişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Bilim Dalı
- Sayfa Sayısı: 85
Özet
Uzaktan algılama görüntülerinden gemi tespiti; deniz trafiği kontrolü, yasadışı balıkçılığa karşı koruma uygulamaları, petrol deşarjı kontrolü, deniz kirliliği ve deniz güvenliği gibi deniz gözetim uygulamalarında giderek daha da önemli bir bileşen haline gelmektedir. Artan çok yüksek ve orta çözünürlüklü (VHR ve MR) yer gözlem uydularının hem yeryüzüne ait pek çok nesnenin tespit edilebilirliği önemli ölçüde arttırması hem de yörüngede tekrar eden ziyaret sürelerini daha önce hiç olmadığı kadar kısaltması, bu teknolojinin kullanımını çeşitli denizcilik izleme görevleri için çekici kılmaktadır. Bununla birlikte, oldukça geniş alanları kapsayan ve neredeyse gerçek zamanlı kısıtlamalar altında sonuçlar türeten devasa büyüklükteki uydu görüntülerinde nesne tespiti yapmanın oldukça zor ve karmaşık olması, geleneksel yöntemlerin bu derece büyüklükteki uydu görüntülerini işlerken pek çok güçlükle karşı karşıya kalmasına neden olmaktadır. Bu görüntülerin işlenerek derin öğrenme yöntemlerine uygulanabilmesi, analistler tarafından yapılabilecek, öngörülemeyen hataları en aza indirmeyi, iş gücüden, zamandan ve maliyetten tasarruf etmeyi mümkün kılmaktadır. Derin öğrenme metodu belirlenerek yapay sinir ağını oluşturmak ve başarılı kılmak için tespit edilmesi hedeflenen nesnelerin mümkün olan pek çok örneği kullanılarak eğitim yapılması gerekmektedir. Tasarlanan evrişimli sinir ağları kullanılarak aynı anda birden fazla nesnenin tespiti, değişim analizleri, yapmak mümkündür. Çok katmanlı evrişimli sinir ağında işleme sokulan girdi görüntüsü için her katmanda ağırlıklar güncellenir, tercih edilen derin öğrenme modelinde tasarlanan sayıda ileri besleme ve geri besleme aşamalarından sonra tahmin edilen değer ile gerçek değer arasındaki farka bakılarak hata miktarı bulunur. Uluslararası deniz sahalarında, genellikle de limanlara ve kıyıya yakın bölgelerde, ticari, askeri ve sivil amaçlı pek çok gemi gözlemlenmektedir. Geniş görüş alanı ve irtifa izlemesi sağlayan yüksek çözünürlüklü uydu görüntüleri gemi tespitinde epey kullanışlıdır. Deniz sahalarının denetlenebilmesi, deniz ulaşım trafiğinin kontrol edilebilmesi ve savunma amaçlı uygulamalar gibi pek çok sebeple uydu görüntülerinden gemi tespitine ihtiyaç duyulmaktadır. Uydu görüntülerinden nesne tespitinde veri seti oluşturmak oldukça zaman ve maliyet gerektirmesi nedeniyle açık kaynaklı hazır veri setleri nesne tespiti uygulamalarında yaygın olarak tercih edilmektedir. Bu tez çalışması kapsamında gemi tespiti için seçilmiş olan açık kaynak DOTA veri seti ile özel oluşturduğumuz kendi veri seti görüntülerimizden yararlanılarak tek aşamalı ve çift aşamalı derin öğrenme uygulamalarını içeren evrişimli sinir ağları kullanılarak geliştirilmiş olan modeller kullanılmıştır. Bu araştırmadaki eğitilmesi amaçlanan deneyler için üç ayrı veri seti oluşturulmuştur. Tüm görüntüler YOLO etiketleme formatı ile etiketlenmiş, daha sonra çeşitli derin öğrenme modellerinde kullanım amacına uygun olarak COCO ve Pascal VOC etiketleme formatlarına dönüştürülmüştür. Hem kıyı hem de açık deniz bölgelerinden elde edilmiş gemi görüntüleri, çok çeşitli ölçek, şekil, yön ve hava koşullarına (bulanık, bulutlu, güneşli vb.) sahip olacak şekilde toplanmıştır. Faster R-CNN, YOLOv3, YOLOv5 ve YOLOX derin öğrenme modelleri kullanılarak üç farklı veri setinin tamamında deneyler yapılmıştır. Tespit edilmesi hedeflenen nesnelerin çeşitli örneklerini içeren herhangi bir veri kümesi, uzaktan algılama için kullanılan mozaik, karıştırma ve döndürme gibi çeşitli veri artırma tekniklerini uygulanması derin öğrenme uygulamalarında sonuçların doğruluğu önemli ölçüde artırılır. Bazı deneylerde, sonuçların doğruluğunu artırmak için aynı anda birden fazla artırım yaklaşımı kullanılmıştır. Tüm veri artırım yaklaşımları, deney sonuçları üzerinde aynı etkiye sahip olmadığı için hangi veri artırım stratejisinin en etkili olduğu sorusunun cevabı net olarak bulunmamaktadır. Gerçekleştirilen deneylerin sonuçları, elde edilen eğitim sonuçlarıyla hesaplanan genel ortalama keskinlik (mAP) metrikleriyle karşılaştırılarak sürdürülmüştür. Her ne kadar mAP değeri sonuçları, girdi görüntülerinin boyutlarının arttırılmasıyla yükselme gösterse de seçilen modellerin daha uzun süre eğitilmesine neden olmuştur. Derin öğrenme çalışmalarında deneyler, güçlü grafik kartlarına sahip makineler tarafından eğitilerek kolaylaştırılmıştır. NVIDIA GeForce RTX 2080Ti grafik kartı ve Intel® Core™ i9-9900K 3.60 GHz CPU işlemci ile donatılmış yerel bir makinede Faster R-CNN, YOLOv3, YOLOv5 ve YOLOX model eğitimleri gerçekleştirilmiştir. Derin öğrenme uygulamaları, Python programlama dili ve PyTorch derin öğrenme kütüphaneleri kullanılarak yürütülmüştür.
Özet (Çeviri)
Vessel detection from remote sensing images is becoming increasingly important component in marine surveillance applications such as maritime traffic control, anti-illegal fishing applications, oil discharge control, marine pollution and marine safety. Increasingly, very high and medium resolution (VHR and MR) earth observation satellites both significantly increase the detectability of many terrestrial objects and shorten recurring visit times in orbit like never before, making the use of this technology attractive for a variety of maritime monitoring missions. However, the difficulty and complexity of object detection in huge satellite images that cover hundreds of square kilometers and derive results under near real-time constraints cause traditional methods to face many difficulties when processing satellite images of this size. Processing these images and applying them to deep learning methods makes it possible to minimize unforeseen errors that can be made by analysts, and to save labor, time and cost. In order to create the artificial neural network and make it successful by determining the deep learning method, it is necessary to train using as much as possible examples of the objects targeted to be detected. By using the designed convolutional neural networks, it is possible to detect more than one object in a given test input image and perform change analysis as well. The weights are updated in each layer for the input image processed in the multilayer convolutional neural network, and the error rate is found by looking at the difference between the detected value and the actual ground truth value. Many vessels for commercial, military and civil purposes are observed in international maritime areas, usually in areas close to ports and coasts. High resolution satellite images, which provide wide field of view and altitude monitoring, are very useful for vessel detection. Vessel detection from satellite images plays a significant role for inspecting maritime areas, controlling maritime transport traffic and applications for defense purposes. Open source datasets are widely used in object detection applications, since it takes a substantial amount of time and cost to build a dataset for object recognition and detection from satellite images. Within the scope of this thesis, models developed using convolutional neural networks including single-stage and two-stage deep learning methods were used by applying our own dataset images that we build with the open source DOTA dataset selected for vessel detection. For the purposes of the experiments in this research, three separate datasets were built. All the images were labelled with YOLO annotation format, then in accordance of use for various models, they have been converted to COCO and Pascal VOC annotation format. Both inshore and offshore vessel images have been collected with having wide variety of scales, shapes, orientations and weather conditions (fuzzy, cloudy, sunny, etc.). Experiments were performed by using Faster R-CNN, YOLOv3, YOLOv5 and YOLOX deep learning models on all three different datasets. Any dataset containing various examples of the target object considerably improves the accuracy of outcomes in deep learning applications by implementing various data augmentation techniques, such as mosaic, mixup, and rotating images, are utilized for remote sensing. In some experiments, more than one augmentation approach is being used simultaneously to improve the accuracy of the results. Not all data augmentation approaches had the same effect on the experiment outcomes. As a result, there is no logical answer to the question of which data augmentation strategy is the most effective. The outcomes of the studies were compared using the mean average precision metric (mAP), and the YOLOv5 model achieved on top results. All of the experiments have yielded the same result: raising the depth of the network by increasing the size of the input images. mAP value results improved as the input sizes were increased, however this caused the selected models longer to train. Experiments in deep learning studies are made easier by machines that have powerful graphics cards. Faster R-CNN, YOLOv3, YOLOv5 and YOLOX model trainings were conducted on a local machine workstation equipped with NVIDIA GeForce RTX 2080Ti graphics card and Intel® Core™ i9-9900K 3.60 GHz CPU processor. Deep learning applications were carried out using Python programming language and PyTorch framework deep learning library.
Benzer Tezler
- Derin öğrenme yöntemi ile optik uydu görüntülerinden gemi tespiti
Ship detection by optical satellite images with deep learning method
OSMAN DUMAN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. MESUT KARTAL
- Sapanca Gölü'ne ait yüksek çözünürlüklü sismik verilerin işlenmesi, gölün yapısal ve stratigrafik yorumlanması
Processing and interpretation of high-resolution marine seismic reflection profiles for recognition of faulting and sediment classification: Lake of Sapanca Turkey
ESRA GÖNÜL
Yüksek Lisans
Türkçe
2020
Jeofizik Mühendisliğiİstanbul Teknik ÜniversitesiJeofizik Mühendisliği Ana Bilim Dalı
PROF. DR. HÜLYA KURT
- A retinal vasculature tracking system guided by a deep architecture
Derin Bir Mimari İle Yönlendirilmiş Retina Damar Takip Sistemi
FATMATÜLZEHRA USLU
Doktora
İngilizce
2017
BiyomühendislikImperial College LondonBiyomühendislik Ana Bilim Dalı
DOÇ. DR. ANİL ANTHONY BHARATH
- Cam laminasyon otoklavında sızdırmazlık için kullanılan kapak contasının sonlu elemanlar yöntemi ile analiz edilmesi ve geometrisinin belirlenmesi
Analysis and determination of the gasket geometry by using finite element method for sealing on the door of glass lamination autoclave
CENGİZ BEYÇAYİRİ
Yüksek Lisans
Türkçe
2019
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZEYNEP PARLAR
- Görüntü işleme ile endüstri 4.0 tabanlı tozaltı kaynak yapan otonom robot geliştirilmesi
Development of industry 4.0 based submerged welding autonomous robot with image processing
ÖMER FARUK ÇOLAKOĞLU
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA DANACI