Geri Dön

A deep learning based framework for identification of ship types using optical satellite images

Optik uydu görüntüleri kullanarak gemi tiplerinin imliklendirilmesi için derin öğrenme tabanlı yöntem

PDF İndir

  1. Tez No: 895152
  2. Yazar: SERDAR KIZILKAYA
  3. Danışmanlar: PROF. DR. ELİF SERTEL
  4. Tez Türü: Doktora
  5. Konular: Mühendislik Bilimleri, İletişim Bilimleri, Engineering Sciences, Communication Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: İletişim Sistemleri Ana Bilim Dalı
  12. Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Bilim Dalı
  13. Sayfa Sayısı: 143

Özet

Günümüzde açık ve kıyı denizlerde gemi trafiğinin izlenmesi, bir çok nedenle öncelikli ve hatta kıyı ülkeleri için vazgeçilmez faaliyetlerin başında gelmektedir. Yasa dışı yapılan balıkçılık, göç, kaçakçılık, denizlerin kirletilmesi gibi hususların önlenmesinden, yeraltı kaynaklarının ve deniz canlıların korunması ile savunma amaçlı keşif gözetleme faaliyetleri, denizlerdeki gemi hareketliliğinin izlenmesi için belli başlı nedenler olarak sıralanabilir. Halihazırda gemilerin takibi için çok farklı yöntemler kullanılmakta, her bir yöntemin avantajlarının yanında zaafiyetlerinin oluşturduğu boşlukları kapatmak için yeni yöntemler aranmaktadır. Yer gözlem uyduları kullanılarak açık ve kıyı denizlerinin periyodik olarak izlenmesi, geniş kapsama özelliğinin yanı sıra hızlı ve uygun maliyetli sonuçlar sağlayan önemli bir yaklaşımdır. Bu bakış açısıyla tezde, optik uydular aracılığıyla etkili ve uçtan uca gemi izleme yaklaşımı hakkında yapılan araştırma sonuçları sunulmaktadır. Gemilerin izlenmesi kavramı uygulamaya göre değişmekle birlikte, sağlanan görüntüde gemilerin varlığından bahsedebilmek, sonrasında konumlarını ve kapladıkları alanı belirleyebilmek, temel ve detaylı tür ve tiplerini tespit edebilmek; bu tezde bütününde gemi izlemeye karşılık gelen aşamaların amaçlarıdır. Bu noktadan hareketle gemilerin izlenmesi; gemilerin tespit ve lokalizasyonu ile sınıflandırma kapsamında tanıma ve teşhis olmak üzere toplam dört aşamadan oluşmaktadır. Gemilerin optik uydu görüntüleri kullanılarak belirtilen dört aşamanın gerçekleştirilmesi maksadıyla derin öğrenme tekniklerinin kullanımı, konunun doğrulanması için optik uydu görüntülerden oluşan gemi veri tabanı oluşturulması ve optik takım uydu modellemesi bu tezin konu başlıklarıdır. Tezde, gemilerin izlenmesine ilişkin geniş spektrumlu bir literatür araştırması sunulmuştur. Çalışmalarda izlenen yaklaşımlar, seçilen yöntemler ve kullanılan veri tabanlarına yönelik literatür taraması sonuçlarına yer verilmiştir. Özellikle tez konusuna paralel, optik uydular kullanılarak gemilerin izlemesine ilişkin literatürdeki çalışmalara ağırlık verilmiştir. Tez kapsamında, gerçek uydu görüntüsü girişini simüle etmek için optik uydu tabanlı bir görüntü veri seti – VHRShips – oluşturulmuştur. VHRShips, Dünyanın farklı noktalarından değişik arka plan özellikleri ihtiva eden görüntüler içermektedir. Veri tabanında yer alan görüntüler, öncelikle gemi ihtiva edip etmediğine göre etiketlenmiştir. Daha sonra, görüntülerdeki tüm gemiler alan uzmanlığı bilgisi kullanılarak dikkatli bir şekilde sınırlarından çerçeve içine alınmış, tür ve tip atamaları gerçekleştirilmiştir. Son olarak görüntülere ve gemilere ilişkin ilave bilgilerin yer aldığı veri tabanı içerik dosyası oluşturulmuştur. VHRShips, gemi içermeyen 1000 adet ve gemi bulunan 5312 adet olmak üzere toplam 6312 görüntüden oluşmaktadır. Görüntülerde toplam 11337 adet gemi bulunmaktadır. Oluşturulan veri tabanı 24 farklı tür içemekte, bu türlerden biri olan donanma gemileri de 11 farklı tip ihtiva etmektedir. Bu veri seti; zengin gemi veri tabanı içeriği ve geniş örneklem büyüklüğü ile öne çıkmaktadır. Veri seti oluşturulurken, geliştirilen yöntemin başarısından bağımsız olarak gerçek dünyanın doğru örneklemesi hedeflenmiştir. Tezde derin öğrenme temelli hedef tespit ve sınıflandırma algoritmaları tekrardan yorumlanarak hiyerarşik yapıda, farklı algoritmaların kolaylıkla eklenip çıkarılmasına imkan tanıyan esnek bir hedef tespit ve sınıflandırma metodu teklif edilmektedir. Bu metod, kullanıcıya farklı derin öğrenme ağları ile kullanım açısından büyük bir esneklik kazandırırmaktadır. İlave olarak, tespit ve lokalizasyon ile tanıma ve teşhis adımları aşamalandırılarak, uygulamaya yönelik farklı seviyelerde çıktıları bir sonraki aşamaya geçilmeksizin elde edebilme imkanı kazanılmıştır. Oluşturulan yöntem; aşamalar arası girdi-çıktı açısından hiyerarşik ve uçtan uca bir yaklaşım içermekle birlikte, gemilerin tespitinden detaylı sınıflandırılmasına kadar tüm aşamaların bağımsız optimizasyonuna imkan tanımaktadır. Uyduların sağladığı görüntülerde gemilerin varlığı tespit aşamasında, gemilerin görüntülerdeki konumlarının belirlenmesi lokalizasyon aşamasında, belirlenen temel gemi türleri arasından gemilerin sınıflandırılması tanıma aşamasında ve temel gemi tiplerinden biri olan donanma gemilerinin kendi arasındaki sınıflandırılması da teşhis aşamasında gerçekleştirilmektedir. Özetle; içeriği hakkında hiçbir bilgiye sahip olunmayan bir uydu görüntüsündeki, gemi mevcudiyeti, varsa gemilerin konum, boyut, tür ve tip bilgileri geliştirilen yöntem ile tespit edilebilmektedir. Geliştirilen yaklaşımın uygulanabilirliği, Türkiye çevre denizlerinin optik takım uydular ile kaplanmasına ilişkin yapılan ön yapılabilirlik analizi ile ortaya konmuştur. Bu analizde, teklif edilen yöntem için gerekli olan uydu görüntülerinin nasıl bir takım uydu tasarımı ile gerçeklenebiliriğine ilişkin paket yazılım kullanılarak bir optimizasyon gerçekleştirilmiştir. Seçilen deniz alanının 24 saatte tam kaplanması 40, iki kere kaplanması için de 100 adet belirlenen özelliklerde optik uydu gerektiği tespit edilmiştir. Geliştirilen yöntemin sonuçları üç formatta sunulmuştur; tekil aşama performansları, kapsamlı bir uçtan uca değerlendirme ve son olarak iyi bilinen bir yöntem olan YOLOv4 ile karşılaştırma. Tezin sonuçları oldukça ümit vericidir. Tekil aşama optimizasyonunun bir sonucu olarak tespit, lokalizasyon, tanımlama ve teşhis için F1 puanları sırasıyla %99,17, %94,20, %84,08 ve %82,13'dür. Gerçek hayattaki durumu örneklemesi açısından girdi olarak herhangi bir içerik bilgisine sahip olunmayan uydu görüntüsü, geliştirilen yönteme beslenmesi ile gerçekleştirilen uçtan uca test sonucunda aynı sıra ile %99.17, %93.43, %74.00 ve %57.05 F1 puanları elde edilmiştir. YOLOv4 yöntemi uçtan uca test edildiğinde ise F1 puanları; %99,17, %86,59, %68,87 ve %56,28 olarak gerçekleşmiştir. Lokalizasyon, tanıma ve tanımlama adımlarında tez kapsamında geliştirilen yöntem, YOLOv4'ten daha iyi performans sergilemektedir. Tezde; çok farklı coğrafyalardaki açık ve kıyı denizlerde, değişik arka planlara sahip görüntüleri ihtiva eden zorlu bir veri seti kullanılarak hiyerarşik yapıda geliştirilen gemi tespit, lokalizasyon, tanıma ve teşhis yönteminin başarılı bir şekilde çalıştığı gösterilmiştir. Söz konusu yöntem, ilave edilecek öncül ve ara yöntemlerle geliştirilmeye çok açıktır. Tezde oluşturulan veri seti çeşitli tespit ve sınıflandırma teknikleri ile kullanılarak, çalışmaya özel kısıtlı bir imkan tanıyan bir veri seti olmadığını kanıtlamıştır. VHRShips, geliştirilen yaklaşım için olduğu gibi denizcilik ortamında jeo-uzamsal yapay zeka uygulamalarını ilerletmek ve derin öğrenmenin kullanımına ilişkin daha fazla araştırma için bir standart olarak da hizmet edebilecektir. Son olarak, tez adil bir öz eleştiri ile birlikte gelecek vizyonunu sunmaktadır.

Özet (Çeviri)

Today, monitoring of ship traffic in open and coastal seas is one of the primary and even indispensable activities of coastal countries for many reasons. Preventing activities such as illegal fishing, migration, smuggling, pollution of the seas, protection of underground resources and sea creatures, defensive reconnaissance, and surveillance activities can be listed as the main reasons for monitoring ship activity in the seas. Periodic monitoring of open and coastal seas using Earth observation satellites is a significant approach, providing fast and cost-effective results as well as large coverage extents. With this perspective, the thesis presents research about an effective and end to end ship monitoring approach via optical satellites. The use of deep learning (DL) techniques for the detection and classification of ships using optical satellite images, the creation of a ship database consisting of optical satellite images for the verification of the subject, and optical constellation modeling are the topics of this research. In the thesis, a comprehensive literature review is presented with the scope of gabs in the ship monitoring with using optical satellites. To mimic the real satellite image input, an optical satellite based image dataset – VHRShips - was formed. VHRShips consists of a total of 6312 images, 1000 without ships and 5312 with ships. There are a total of 11337 ships in the images. The database created includes 24 different types, and navy ships, one of these types, contain 11 different types. This dataset stands out with its rich ship database content and large sample size. Thesis reinterprets DL-based target detection and classification algorithms and proposes a flexible target detection and classification approach in a hierarchical design (HieD) that allows easy addition and removal of different algorithms. In addition, the detection and localization, recognition, and identification (DLRI) steps are staged and the outputs of the algorithm are detailed. In the phase of detecting, the presence of ships is verified in the images provided by the satellites. The determination of the positions of the ships in the images is carried out during the localization stage. The classification of the ships among the determined basic ship types is defined in the recognition stage. Lastly, the classification of navy ships, which is one of the main ship types, is handled during the identification stage. The feasibility of the developed approach has been demonstrated by the preliminary feasibility analysis for the covering of the Turkish surrounding seas with optical constellations. In this analysis, an optimization was carried out by using a software on how the satellite images required for the proposed method can be realized with a set of satellite design. It has been determined that 40 optical satellites are required to fully cover the selected sea area in 24 hours, and 100 optical satellites with the specified characteristics to be covered twice. The results of proposed method, HieD are presented in three formats which are; the individual stage performances, a comprehensive end-to-end evaluation and lastly a comparison with a well-known method, YOLOV4. The results of the thesis are very promising. F1 scores for detection, recognition, localization, and identification were respectively 99.17%, 94.20%, 84.08%, and 82.13% as a consequence of stage-by-stage optimization. The F1 scores for the same order after complete implementation of our suggested method were 99.17%, 93.43%, 74.00%, and 57.05%. End-to-end YOLOv4 produced F1-scores for DLRI of 99.17%, 86.59%, 68.87%, and 56.28%, in opposition. For the steps of localization, recognition, and identification, we outperformed YOLOv4 using HieD. In the thesis; it has been shown that the ship detection, localization, recognition and identification method developed in a hierarchical structure using a challenging data set containing images with different backgrounds in open and coastal seas in many different geographies, works successfully. The method is very open to development with the antecedent and intermediate methods to be added. The data set created in the thesis has been used with various detection and classification techniques, proving that there is no dataset that provides a limited opportunity for the study. VHRShips can serve as a standard for the developed approach as well as for further research into the use of deep learning and advancing geospatial AI applications in the maritime environment. Finally, the thesis presents a vision of the future along with a fair self-criticism.

Benzer Tezler

  1. Tez No

    815017

    Prediction of risky maritime encounters in narrow and congested waterways via clustering based ensemble machine learning and sequential deep learning

    Dar ve trafiği yoğun su yollarında riskli gemi karşılaşmalarının kümeleme tabanlı yapay öğrenme ve sıralı derin öğrenme ile tahminlenmesi

    MUHAMMET FURKAN ORUÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YİĞİT CAN ALTAN

  2. Tez No

    849108

    DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.

    DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.

    CEMAL GÜRPINAR

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    PROF. DR. NAFİZ ARICA

  3. Tez No

    847190

    Prediction of COVID 19 disease using chest X-ray images based on deep learning

    Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini

    ISMAEL ABDULLAH MOHAMMED AL-RAWE

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ADEM TEKEREK

  4. Tez No

    691735

    Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme

    Integration of bayesian filtering and deep object detection for video object tracking

    FİLİZ GÜRKAN GÖLCÜK

    Doktora

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL KALYONCU

  5. Tez No

    746188

    Novel AI- based face recognition framework using deep neural networks and bounding box annotation

    Başlık çevirisi yok

    RASHA KHALID OMAR AL-OMARY

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ABDULLAHI ABDU IBRAHIM

Geri Dön