Improved image based localization using semantic descriptors
Anlamsal betimleyiciler ile gelişmiş imge tabanlı konumlandırma
- Tez No: 631190
- Danışmanlar: DOÇ. DR. YALIN BAŞTANLAR
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 113
Özet
İnsansız araçlar için yer tespiti ve İmge Tabanlı Konumlandırma (İTK) Bilgisayarlı Görü alanındaki popülerliğini koruyan araştırma konularının başında yer almaktadır. Bu çalışmada, konuma duyarlı anlamsal bilgiye dayalı olarak sürüş senaryosu içeren sokak düzeyindeki imgeler üzerinde çalışan Hibrid-İTK yaklaşımı önerilmiştir. Bu amaç dorğrultusunda ilk aşama olarak, Evrişimli Sinir Ağı (ESA) üzerinde konumlandırma hedefi ile eğitilen Anlamsal Betimleyici (AB) elde edilmiştir. Ardından, iki boyutlu (2B-2B) imge eşleştirmesine dayalı olan konumlandırma yöntemimiz yaklaşık en yakın komşu arama (YEKA) yaklaşımı ile gerçeklenmiştir. AB-İTK olarak isimlendirilen bu yöntemin konumlandırmadaki başarısı, literatürde sıklıkla kullanılan Yerel Betimleyici (YB) tabanlı İTK yöntemi (YB-İTK) ile kıyaslanmıştır. Buna ek olarak, bahsi geçen bu YB-İTK ve AB-İTK yöntemleri birbirlerinin eksikliklerini tamamlayacak şekilde son işlem evresinde bir araya getirilmiş ve önerilen bu yeni yöntem karar-düzeyinde Hibrid-İTK (Hibrid-İTK_KD ) yöntemi olarak adlandırılmıştır. Ayrıca, otomatik olarak en iyi şekilde ayarlanmış hibrid bir sonuç üretmek için öznitelik-düzeyinde Hibrid-İTK (Hibrid-İTK_OD ) yöntemi önerilmiştir. Önerilen bu İTK yöntemlerinin başarısı, literaturde kriter olarak kabul edilen RobotCar Seasons ve Malaga Downtown veri setleri üzerinde sınanmıştır. Ayrıca Malaga Streetview Challenge veri seti, çeveresel ve referans noktasındaki değişimlerin etkisini gözlemleyebilmek adına özel olarak bu çalışma için, Malaga Downtown ile aynı güzergahdaki Google Streetview imgelerinin bir araya getirilimesi ile oluşturulmuştur. Yeni oluşturulan veri seti bu alanda çalışan araştırmacılar için yararlı olacaktır. Önerilen Hibrid-İTK_KD yöntemi ile RobotCar Seasons ve Malaga Streetview Challenge veri setleri üzerindeki konumlandırma başarısı, sırası ile 1.6% - 4.5% Top-1 recall@5, ve 4% - 5.4% recall@1 oranlarında artırılmıştır. Ek olarak, önerilmiş olan hiper-parametre (W) tabanlı Hibrid-İTK_KD yaklaşımının güvenilirliği hemen hemen aynı deneysel sonuçların Hibrid-İTK_OD tarafından elde edilmesi ile desteklenmiştir.
Özet (Çeviri)
Place recognition and Visual Localization (VL) for autonomous driving are the topics that keep their popularity in the field of Computer Vision. In this study, semantically improved Hybrid-VL approaches, that use localization aware semantic information in street-level driving images are proposed. Initially, Semantic Descriptor (SD) is extracted from semantically segmented images with a Convolutional Neural Network (CNN) trained for localization task. Then, image retrieval based VL task is performed using the approximate nearest neighbor search (ANNS) in 2D-2D matching context. This proposed method is named as SD-VL and its success is compared with the success of the state-of-the-art Local Descriptor (LD) based VL method (LD-VL) which is frequently used in the literature. Furthermore, with the aim of alleviating the shortcomings of both two methods, a novel decision-level Hybrid-VL (Hybrid-VL_DL ) method is proposed by combining SD-VL and LD-VL in post-processing stage. Also feature-level Hybrid-VL (Hybrid-VL_FL ) method is proposed in order to produce automatically tuned hybrid result. These proposed VL methods are examined on two challenging benchmarks; RobotCar Seasons and Malaga Downtown Data Sets. Moreover, a new VL data set Malaga Streetview Challenge is generated by collecting Google Streetview images on the same path of Malaga Downtown in order to observe impact of environmental and wide-baseline changes. This newly generated test set will be useful for researchers studying in this field. After all, the proposed semantically boosted Hybrid-VL_DL method is able to increase localization performance on both RobotCar Seasons and Malaga Streetview Challenge data sets by 11.6% and 4.5% Top-1 recall@5, and 4% and 5.4% recall@1 scores respectively. Additionally, reliability of our hyper-parameter (W) based Hybrid-VL_DL approach is supported by very close performance of the Hybrid-VL_FL method.
Benzer Tezler
- Manipulation of visually recognized objects using deep learning
Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi
ERTUĞRUL BAYRAKTAR
Doktora
İngilizce
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOYRAZ
- Automated liver tumor segmentation and classification using AI and fully convolutional neural network (CNN)
Başlık çevirisi yok
IDREES AHMED DHAHIR DHAHIR
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
DOÇ. DR. YASA EKŞİOĞLU ÖZOK
DOÇ. DR. ADİL DENİZ DURU
- Image-Based Localization in 3D Point Clouds
Başlık çevirisi yok
AHMETHAN BAŞAK
Yüksek Lisans
İngilizce
2021
Makine MühendisliğiTechnische Universität MünchenDR. FLORİAN NOİCHL
DR. YUANDONG PAN
- Microstructure-based analysis and simulation of flow and mass transfer in chromatographic stationary phases
Kromatografik sabit fazlarda akış ve kütle transferinin mikroyapı temelli analizi ve simülasyonu
HARUN KOKU
Doktora
İngilizce
2011
Kimya MühendisliğiUniversity of DelawareKimya Mühendisliği Ana Bilim Dalı
PROF. DR. ABRAHAM LENHOFF
- Design and characterization of the power supply unit and driver blocks of a CMOS based localization system for MRI
MRG'de pozisyon tespit amaçlı CMOS tabanlı sistemin güç kaynağı ve sürücü birimlerinin tasarım ve belirlenmesi
BERK ÇAMLI
Yüksek Lisans
İngilizce
2013
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ARDA DENİZ YALÇINKAYA