Road geometry extraction with fusion of low resolution satellite imagery and GPS trajectory using deep learning methods
Düşük çözünürlüklü uydu görüntüleri ve GPS rotaları birleştirilmesi ve derin öğrenme yöntemleri kullanılarak yol geometrilerinin tespiti
- Tez No: 877855
- Danışmanlar: PROF. DR. ERGİN TARI
- Tez Türü: Doktora
- Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 88
Özet
Dijital haritalar, navigasyon, kentsel planlama ve afet yönetimi gibi farklı alanlarda temel bir rol oynamakta, yol ağı verileri ise bu süreçlerin temel bileşenlerinden biri olarak kabul edilmektedir. Bu veriler, sayısallaştırma veya saha çalışmaları gibi manuel süreçlerle, gönüllü topluluklar tarafından sağlanan kaynaklarla veya hava fotoğraflarından ve/veya uydu görüntülerinin yanı sıra GPS rota verilerinin analizi yoluyla otomatik olarak üretilebilmektedir. Yol ağlarına yönelik manuel analizler önemli zorluklar taşımaktadır ve maliyetlidir. Bu nedenle otomatik yol ağı tespit yöntemlerinin benimsenmesi zorunlu hale gelmiştir. Yapay zeka ve derin öğrenme metodolojileri bu geçişte belirleyici olmuştur. Bu metodolojilerdeki kritik ilk adım, uydulardan görüntülerinin veya hava fotoğraflarının segmentasyonudur. Yüksek çözünürlüklü uydu görüntüleri bu tür uygulamalarda tercih edilmektedir. Yüksek çözünürlüklü benzeri çalışmalarda tercih ediliyor olsa da bu tür verilerin kullanımı maliyetli olduğundan, daha düşük çözünürlüklü görüntülerin kullanılması giderek artan bir ilgi görmektedir. Sentinel-2 gibi ücretsiz ve genel erişime açık uydu görüntüsü kaynakları, görüntü çözünürlüğündeki sınırlamalara rağmen, küresel kapsamı, gelişmiş zamansal çözünürlüğü ve geniş spektrumda veri sağlaması gibi avantajlar sunmaktadır. Uydu görüntülerine ek olarak, GPS rotaları da yol ağı segmentasyonu için başka bir değerli kaynak olarak öne çıkmaktadır. Nokta kümeleme, çekirdek yoğunluk tahmini (KDE), grafiğe dayalı yol oluşturma ve nokta eşleme gibi çeşitli metodolojiler GPS rotaları ile yol tespiti için kullanılmıştır. Aynı zamanda, derin öğrenme yöntemleri, uydu görüntüleriyle bütünleştirilmiş rasterize GPS rota verilerinden yolların segmente edilmesi için kullanılmaktadır. Bu yöntemlerin etkinliğine rağmen, yüksek çözünürlüklü uydu görüntülerinin kullanımı maliyet açısından yüksek kalmaktadır. Bildiğimiz kadarıyla, daha düşük çözünürlüklü uydu görüntüleri ile GPS rota verilerinin bütünleştirilmesi üzerine otomatik yol tespiti için henüz bir çalışma yapılmamıştır. Veri kaynaklarının birlikte kullanılması durumunda standartlaşmış stratejilerin eksikliği ve bütünleştirme işlemlerinin segmentasyon sonuçları üzerindeki etkileri gibi konular, bu alanda keşfedilmeyi bekleyen boşluklar arasında yer almaktadır. Bu çalışmanın genel amacı, daha düşük çözünürlüklü uydu görüntüleri ile GPS rota verilerini bütünleştirerek Open Street Map (OSM) verileri yardımı ile otomatik yol tespiti ve segmentasyonu için yenilikçi bir yaklaşım sunmaktır. Araştırma, düşük çözünürlüklü uydu görüntüleri ile GPS rota verilerinin bütünleştirilmesi için yeni stratejileri araştırmayı ve farklı yöntemlerin farklı coğrafi bölgelerdeki başarısını inceleyerek segmentasyon başarısını arttırmayı hedeflemektedir. İstanbul ve Montreal gibi farklı coğrafi bölgeler üzerinde yapılan deneyler ile yol çıkarımı için kullanılan bir tür derin öğrenme metodu olan evrişimli sinir ağı modellerinin ve kayıp fonksiyonlarının performansları karşılaştırmalı olarak değerlendirmiştir. Bu değerlendirme yapılırken uydu görüntüleri ve GPS rotaları erken ve geç olmak üzere iki aşamada bir araya getirilmiş ve bir araya getirme işlemi olarak ekleme, maksimum, ortalama ve toplama operasyonları kullanılmıştır. Evrişimli sinir ağı modeli olarak U-Net, ResUnet ve D-Linknet modelleri kullanılmıştır ve bu modeller, uydu görüntülerinden yolları belirleme kapasitelerine göre değerlendirilmiştir. Çalışmanın temel bulguları, GPS rotalarının yol çıkarımındaki başarıya önemli katkılar sağladığını ve füzyon yöntemlerinin yol çıkarım sonuçları üzerinde belirleyici olduğunu göstermektedir. Deneylerde, ResUnet modeli, diğer modellere göre daha iyi sonuçlar elde etmiş ve yol çıkarımında kullanılan farklı kayıp fonksiyonlarının (Karesel Ortalama Hata (MSE), Odaklanmış kayıp (FL) ve İkili Çapraz Entropi (BCE)) etkinliği test edilmiştir. Araştırma, özellikle MSE kayıp fonksiyonunun, yol çıkarımında en iyi sonuçları verdiğini ortaya koymuştur. Buna karşın, BCE kayıp fonksiyonu, ortalama ve maksimum füzyon yöntemleri ile birleştirildiğinde performans kaybına uğramıştır. Model genelleştirme yeteneği de farklı çalışma alanlarına göre değerlendirilmiştir. Erken füzyon tekniklerinin, farklı coğrafi alanlar arasında daha tutarlı sonuçlar verdiği gözlemlenmiş, ancak geç füzyon ağlarının da daha yüksek doğrulukta sonuçlar üretmek gibi avantajlar sunduğu da belirlenmiştir. Montreal ve İstanbul verileri ile yapılan çalışmalar arasındaki sistematik doğruluk farklılıkları dikkate alınarak bu iki verinin farklı karmaşıklıklarda olduğu düşünülmüştür. Buradan yola çıkılarak İstanbul veri seti üzerinde yapılan entropi ve homojenlik tabanlı karmaşıklık analizleri, bu bölgenin Montreal'e kıyasla daha yüksek bir karmaşıklığa sahip olduğunu sayısal olarak ortaya koymuştur. Bu tür coğrafi farklılıkların model performansı üzerinde belirleyici olduğu sonucuna varılmıştır. Bu çalışmada farklı model ve kayıp fonksiyonlarına ek olarak yol tespiti çalışmalarında ilk defa medikal çalışmalarda kullanılan şekil tabanlı bir metrik olan mBoundary-IoU (Mean Boundary Intersection Over Union) kullanılmıştır. Bu metrik, yol tespiti çalışmalarda sıklıkla kullanılan, bölge tabanlı IoU metriği ile genellikle uyumlu sonuçlar vermiştir ancak bazı durumlarda farklılıklar gösterdiği de gözlemlenmiştir. IoU (Intersection Over Union) metriğinin yol şekillerinin çıkarımındaki karmaşıklıkları tam olarak tespit etmekte yeterisz olduğu ve bu nedenle IoU'nun tek başına yeterli bir değerlendirme aracı olamayacağı vurgulanmış ve mBoundary-IoU'yu gibi şekilde tabanlı bir diğer metrikle beraber kullanılması tavsiye edilmiştir. Çalışma, yol çıkarımı modellerinin çeşitli sınırlamalarını ve gelecekteki araştırma fırsatlarını da tartışmaktadır. Özellikle hiper-parametrelerin seçimi, etiketleme stratejileri ve GPS veri erişilebilirliği gibi konularda daha sistematik yaklaşımların benimsenmesi gerektiği vurgulanmaktadır. Ayrıca, model genelleştirme sınırlılıklarını aşmak için karmaşıklık analizlerinin daha fazla kullanılması önerilmektedir. Sonuç olarak, bu çalışmada, yol tahmini alanında önemli ilerlemeler kaydedilmiş ve yol çıkarımı için daha kapsamlı bir değerlendirme yaklaşımı sunulmuştur. Açık erişimli, çok modlu veri seti, gelecekteki araştırma çabaları için bir temel oluştururken, elde edilen değerli bulgular yol tahmini metodolojilerinin anlaşılmasını ve geliştirilmesini ilerletmek için kullanılabilir. Bu çalışma, yol çıkarımı çalışmalarında yeni ve daha karmaşık modeller, kayıp fonksiyonları, eğitim stratejileri ve füzyon yaklaşımları üzerine ileri araştırmalar yapılmasını teşvik etmektedir.
Özet (Çeviri)
Road extraction is an important process which plays a crucial role in different applications such as improving navigation systems, facilitating urban planning and providing accurate road mapping in the deployment of autonomous vehicles, which are highly dependent on precise and reliable road information. This study examines the integration of Global Positioning System (GPS) trajectory data with low-resolution satellite imagery to enhance road detection techniques. The study focuses on the use of advanced convolutional neural network models, U-Net, ResUnet D-Linknet, which are tailored for semantic segmentation tasks in satellite images and novel fusion strategies to combine both satellite imagery and GPS trajectory data. Series of experiments conducted to evaluate the impact of different data fusion techniques and loss functions on the performance of the models. The study explores three main types of data fusion: early fusion, and three loss functions: Binary Cross-Entropy (BCE), Mean Squared Error (MSE) and Focal loss (FL). The results reveal that incorporating GPS data enhances road detection capabilities significantly, with late fusion providing the most substantial improvements. Among the tested models, ResUnet emerges as the most effective, particularly when employing a concatenation method for data fusion and utilizing MSE as the loss function. The study introduces the application of a new evaluation metric in the road detection domain, mBoundary-IoU (Mean Boundary Intersection Over Union), which provides a detailed assessment of extraction accuracy, particularly effective in accurately delineating the precise boundaries of road networks within urban landscapes. This metric is designed to complement the traditional Intersection over Union (IoU) by offering a more nuanced evaluation of the road outlines. A key part of the study involves the creation of a benchmark dataset that combines low-resolution satellite imagery with corresponding GPS data. This dataset covers Istanbul and Montreal. It is the first dataset of its kind in Turkey made available for public use and aims to facilitate comparative studies with satellite imagery and GPS trajectory and encourage further research into the integration of these two types of data. The research also investigates the variability in model performance across different geographic areas: Istanbul and Montreal. It is noted that the models exhibit better performance on the Montreal dataset, which features simpler and less congested road layouts compared to the complex and densely packed roads of Istanbul. This variability highlights the challenges and considerations needed when applying these models to different urban environments. In conclusion, the study demonstrates that the integration of GPS trajectory data with satellite imagery can significantly improve the precision and reliability of road detection systems. While the current findings are promising, the study suggests that further improvements could be achieved by exploring additional fusion techniques and by further customizing the deep learning models to accommodate the unique characteristics of different geographic areas.
Benzer Tezler
- Deep learning based road segmentation from multi-source and multi-scale data
Çok kaynaklı ve çok ölçekli veriyle derin öğrenme tabanlı yol bölütlenmesi
OZAN ÖZTÜRK
Doktora
İngilizce
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Navigasyon temelli seyahat verileri kullanılarak yol şebekelerinin tesisi ve topolojik problemlerin giderilmesine yönelik bir model
A model for constructing road networks and resolving topological issues with navigation-based travel data
EMRULLAH DEMİRAL
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL RAKIP KARAŞ
- Farklı nitelikteki nokta bulutlarından karayolu geometrisinin çıkarılmasına yönelik bir yaklaşımın geliştirilmesi
Developing an approach to extract road geometry from different type of point clouds
BARIŞ SÜLEYMANOĞLU
Doktora
Türkçe
2023
Jeodezi ve FotogrametriYıldız Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
PROF. DR. METİN SOYCAN
- Head gesture recognition for a semi-autonomous powerchair
Yarı-otonom akülü sandalye için kafa hareketleri tanıma
UBEYDE MAVUŞ
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. VOLKAN SEZER
- Farklı sayısal yüzey modellerinin doğruluk değerlendirmesi
Accuracy assessment of different digital surface models
BARIŞ BEŞOL
Yüksek Lisans
Türkçe
2021
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. UĞUR ALGANCI