A novel learning-based image matching approach based on mutual nearest neighbor search with ratio test
Oran testi ile karşılıklı en yakın komşu aramasına dayanan öğrenmeye dayalı yeni bir görüntü eşleştirme yaklaşımı
- Tez No: 695515
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 94
Özet
Bu tez, kullanıma hazır bir derin sinir ağı tarafından çıkarılan öğrenilmiş özellikleri kullanan ve ümit veren bir performans elde eden yeni bir görüntü eşleştirme yöntemi önermektedir. Önerilen yöntem, özellik çıkarıcı olarak önceden eğitilmiş VGG mimarisini kullanır ve eşleştirmeyi iyileştirmek için herhangi bir ek eğitim gerektirmez. Psikoloji alanındaki Zihinsel Rotasyon paradigması gibi köklü kavramlardan esinlenerek, bir ön geometrik dönüşüm tahmini kullanılarak bir ilk çarpıtma gerçekleştirilir. Bu tahminler basitçe, eşleştirilecek görüntülerin VGG ağ çıktılarının terminal katmanında Çift Yönlü Oran Testi ile Karşılıklı En Yakın Komşu Araması (ÇYOTiKEYKA) kullanılarak yoğun eşleştirmeye dayanmaktadır. Bu ilk hizalamadan sonra, iyi bir yerelleştirme ve eşleştirme performansına ulaşmak için referans ve hizalanmış görüntüler arasında hiyerarşik bir şekilde aynı yaklaşım tekrarlanır. Ayrıca kapsamlı deneyler ile literatürde yer alan beş klasik ve dört öğrenme temelli yöntem de tek bir parametre optimize edilerek karşılaştırılmış ve önerilen yöntemin en gelişmiş performansı sağladığı gösterilmiştir. Adil bir karşılaştırmadan sonra, iyi bilinen bir veri seti olan HPatches üzerindeki deneysel sonuçlar, klasik ve öğrenmeye dayalı yöntemler arasındaki performans farkının önceki çalışmalarda bildirildiği kadar önemli olmadığını ortaya koymaktadır. Genel olarak, yalnızca önceden eğitilmiş bir ağ ve oran testi kullanan önerdiğimiz yöntemimizin, iyi eğitilmiş öğrenme temelli yöntemlerin çoğundan daha iyi performans gösterdiği ve herhangi bir klasik yöntemin parametrelerinin, öğrenmeye dayalı bir teknikle karşılaştırma yapmadan önce dikkatlice analiz edilmesi gerektiği sonucuna varıyoruz.
Özet (Çeviri)
This thesis proposes a novel image matching method that utilizes learned features extracted by an off-the-shelf deep neural network to obtain a promising performance. The proposed method simply uses a pre-trained VGG architecture as a feature extractor and does not require any additional training to improve matching. Inspired by well-established concepts in the psychology area, such as the Mental Rotation paradigm, an initial warping step is also performed by the help of a preliminary geometric transformation estimate. The matching estimates are based on dense matching using Mutual Nearest Neighbor Search with Bidirectional Ratio Test (MNNSwBRT) at the terminal layer of VGG network outputs of the images. After this initial alignment, the same approach is repeated again at every network level between reference and aligned images in a hierarchical manner to reach a good localization and matching performance. By comprehensive experiments, five classical and four learning-based methods in the literature are also compared while optimizing a single parameter, and it is shown that the proposed method achieves the state-of-the-art performance. As a result of a fair comparison, the experimental results on HPatches dataset reveal that the performance gap between classical and learning-based methods is not that significant as reported in most of the previous studies. Hence, one can conclude that our proposed method, which uses only a pre-trained network and ratio test, outperforms most well-trained learning-based methods.
Benzer Tezler
- Cross-modal semi-dense image matching
Çapraz-modlu yari-yoğun görüntü eşleşti̇rme
ÖNDER TUZCUOĞLU
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN
PROF. DR. SİNAN KALKAN
- Yerel öznitelikler kullanarak görüntü indeksleme ve eşleme
Image indexing and matching using local features
ONUR ÇALIKUŞ
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Cross-domain one-shot object detection by online fine-tuning
Çevrimiçi ince-ayar ile tek-örnekli çapraz-alan nesne tespiti
İREM BEYZA ONUR
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL
- Face recognition with local Walsh transform
Yerel Walsh dönüşümü ile yüz tanıma
MERYEM UZUN PER
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN