Visual-inertial sensor fusion for 3D urban modeling
Görsel-ataletsel duyaç tümleştirme kullanılarak şehirlerde 3B modelleme
- Tez No: 340944
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 150
Özet
Bu tez çalışmasında, geniş şehirsel alanların kamera ve ataletsel sensörler kullanılarak gerçek zamanlı, otomatik ve coğrafi referanslı 3B modellerinin çıkarılması problemi ele alınmıştır. Önerilen çözüm yöntemi, şehirsel alanların kendilerine has özelliklerini kullanma ve görsel-ataletsel duyaç tümleştirme konuları üzerine kurulmuştur. Bunun için şehirsel alanlardaki bina yüzeylerinin düzlemsel ve yer yüzeyine dik olduğu varsayılmıştır. Görsel işaretler ve kamera konum kestirimleri kullanılarak, görüntülenen sahneden seyrek 3B nokta kümesi elde edilmiş, bu nokta kümesinin yerçekimi yönündeki izdüşümünde gerçekleştirilen tekrarlamalı Hough doğru taraması ile düzlem parçalarına ulaşılmıştır. Bu işlem sonucunda bina yüzeylerinin özlü ve yoğun derinlik haritası düzlem parçaları ile ifade edilebilmektedir. Düzlem bulma işlemi birbirini takip eden sahneler üzerinde tekrarlanarak tüm model düzlem birleştirme yöntemi ile elde edilmiştir. Ataletsel duyaç tümleştirmesi ile, kamera konum kestirimi, 3B geriçatma ve düzlemsel modelleme aşamaları iyileştirilmiştir. Kamera konum kestirimi için, görsel ve ataletsel duyaç ölçümlerinin bir dolaylı-geribeslemeli Kalman süzgeci ile bütünleştirilmesi önerilmiştir. Bu sayede küresel konumlandırma sisteminin olmadığı durumlarda da güvenilir ve coğrafi referanslı kamera konum kestirimleri elde edilmesi sağlanmıştır. Ataletsel sensörler ayrıca, 3B geriçatma işleminde hatalı görsel işaretlerin ayıklanması, düzlem çıkarma işleminde yerçekimi yönünün bulunması, 3B modelleme işleminde yerden yükseklik bilgisi kullanılarak istenmeyen nesnelerin çılarılması adımlarında kullanılmıştır. Görsel-ataletsel duyaç tümleştirme ve şehirsel alanların kendilerine has özelliklerinin kullanılması temellerine dayanan yöntemin, geniş şehirsel alan modellemesi için klasik yöntemlere oranla daha tutarlı ve gerçek zamanda çalışabilecek sonuçlar ürettiği gösterilmiştir.
Özet (Çeviri)
In this dissertation, a real-time, autonomous and geo-registered approach is presented to tackle the large scale 3D urban modeling problem using a camera and inertial sensors. The proposed approach exploits the special structures of urban areas and visual-inertial sensor fusion. The buildings in urban areas are assumed to have planar facades that are perpendicular to the local level. A sparse 3D point cloud of the imaged scene is obtained from visual feature matches using camera poses estimates, and planar patches are obtained by an iterative Hough Transform on the 2D projection of the sparse 3D point cloud in the direction of gravity. The result is a compact and dense depth map of the building facades in terms of planar patches. The plane extraction is performed on sequential frames and a complete model is obtained by plane fusion. Inertial sensor integration helps to improve camera pose estimation, 3D reconstruction and planar modeling stages. For camera pose estimation, the visual measurements are integrated with the inertial sensors by means of an indirect feedback Kalman filter. This integration helps to get reliable and geo-referenced camera pose estimates in the absence of GPS. The inertial sensors are also used to filter out spurious visual feature matches in the 3D reconstruction stage, find the direction of gravity in plane search stage, and eliminate out of scope objects from the model using elevation data. The visual-inertial sensor fusion and urban heuristics utilization are shown to outperform the classical approaches for large scale urban modeling in terms of consistency and real-time applicability.
Benzer Tezler
- Inertial sensor fusion for 3D camera tracking
3B kamera takibi için eylemsizlik algılayıcılarının birleştirilmesi
NURİ ÖZER
Yüksek Lisans
İngilizce
2012
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM EROĞLU ERDEM
PROF. DR. ARİF TANJU ERDEM
- Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight
Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş
ARSLAN ARTYKOV
Yüksek Lisans
İngilizce
2023
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- İnsan hareketi izleme teknolojilerinin karşılaştırmalı değerlendirmesi
Comparative assessment of human motion monitoring technologies
CEMAL FATİH KUYUCU
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN İNCE
- Alternative navigation methods: Fusion of optical flow and visual-inertial pose estimation using EKF
Alternatif navigasyon metotları: EKF kullanılarak, poz tahmini için optik akışı ile görsel ataletliyi füzyon etmektedir
ABDEL SALAM BAWARSHI
Yüksek Lisans
İngilizce
2019
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE KOYUNCU
- A comparative study on tightly coupled visual aided inertial navigation systems for unmanned aerial vehicles
İnsansız hava araçları için sıkıca bağlı görsel yardımlı ataletsel seyrüsefer sistemleri üzerine karşılaştırmalı bir çalışma
TALHA İNCE
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AFŞAR SARANLI