An analysis of stereo depth estimation utilizing attention mechanisms, self-supervised pose estimators & temporal predictions
Dikkat mekanizmalarını, kendi-kendini denetlemeyle öğrenilmiş poz kestiricileri ve önceki tahminlerini kullanan stereo derinlik kestiricilerin bir analizi
- Tez No: 736233
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 131
Özet
Derin öğrenmenin yakın tarihteki başarısıyla birlikte, stereo derinlik kestirme algoritmalarının gerçek dünya uygulamaları birçok araştırmacının ilgisini çekmeyi başarmıştır. Kullanıma hazır olan birçok sentetik ve gerçek dünya veri seti sayesinde, araştırmacılar fikirlerini pratik uygulamalar için analiz etmeye başlamıştır. Bu tezde benzer bir yaklaşım için dikkatli bir analiz gerçekleştirmiştir. En gelişmiş stereo derinlik algoritmaları, dikkat mekanizmalarının ve daha iyi başlatma stratejilerinin dahil edilmesiyle birlikte iyileştirilmeye çalışılmıştır. Bu amaç için, en başarılı stereo derinlik algılama ağlarından birine farklı miktarlarda dikkat modülleri eklenmiştir. Tasarlanan dikkat-tabanlı nöral ağın denetimli öğrenme yöntemiyle ve sentetik veri setleri kullanılarak eğitilmesiyle birlikte ortaya koyduğu performans baz alınan algoritmalarla karşılaştırılmıştır, daha iyi sonuçlar elde edilmiştir. Bu nöral ağların ince ayarını yapmak için küçük, etiketlenmiş ve gerçek-dünyaya ait görseller bulunduran bir veri seti kullanıldığında baz alınan algoritmanın daha iyi sonuçlar ortaya koyduğu gözlemlenmiştir. İkinci olarak, veri setinde var olan zamansal bilgilerden, nöral ağa şu anki özyinelemesini önceki tahminlerini kullarak başlatmasını öğretmek yoluyla istifade edilmeye çalışılmıştır. Son olarak, gerçek dünya uygulamaları için ve tasarlanan nöral ağın ince ayarını daha iyi yapabilmek için, bir poz kestirme ve optik akı ağı ve büyük bir etiketlenmemiş gerçek-dünya veri seti kullanılıp bir denetimsiz öğrenme ince ayar operasyonu gerçekleştirilmiştir. Genel olarak, sentetik görsellerle eğitip gerçek dünya işlerinde denenen test yapılarında ağlarımız baz alınan ağdan daha iyi performans göstermiştir. İnce ayarlar sonunda ise sonuçlar karşılaştırabilir düzeylerde kalmıştır.
Özet (Çeviri)
By the recent success of deep learning, real-world applications of stereo depth estimation algorithms attracted the interest of many researchers. Using the available datasets, synthetic or real-world, the researchers begin analyzing their ideas for practical applications. In this thesis, a thorough analysis is performed of such an aim. The state-of-the-art stereo depth estimation algorithms are tried to be improved by incorporating attention mechanisms to the current networks and better initialization strategies in time. For this purpose, different amounts of attention modules are applied to one of the most successful stereo depth estimator networks. The performance of the proposed attention-based neural networks that is trained with the synthetic stereo datasets under a supervised setting is compared against the performance of a baseline algorithm and it yielded superior results. When these neural networks are finetuned using a small annotated real-world dataset, the baseline algorithm had a better performance. Secondly, the temporal information available in the synthetic datasets is leveraged by teaching the proposed neural network how to initialize the current iteration by using the previous predictions. Finally, in order to finetune the neural network better for real-world use with the temporal information, a large unannotated real-world dataset is utilized under a self-supervised training setting using ego-pose estimation and optical flow networks. In general, it is observed that these settings yield better results against state-of-the-art methods in the synthetic-to-real world supervised training settings, and they are comparable after the finetuning operation.
Benzer Tezler
- Derin öğrenme tabanlı yöntemlerle düşük ışıklı görüntü iyileştirme
Low light image enhancement with deep learning based methods
EMİN CİHANGİR US
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Image synthesis for depth estimation using stereo and focus analysis
Stereo ve fokus analiz yöntemleriyle derinlik algılaması için görüntü sentezlenmesi
FAHRİ TUNÇER
Yüksek Lisans
İngilizce
2002
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR HALICI
- Selection and fusion of multiple stereo algorithms for accurate disparity segmentation
Doğru derinlik bölütlemesi için uygun stereo algoritmalarının seçilmesi ve kaynaştırılması
ARDA BİLGİN
Yüksek Lisans
İngilizce
2008
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
YRD. DOÇ. DR. İLKAY ULUSOY
- Omni-directional vision based environment sensing for movement control of mobile robots
Gezgin robotların hareket kontrolü için tüm-yönlü görüntüleme tabanlı ortam algılaması
KALİ GÜRKAHRAMAN
Doktora
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YALÇIN ÇEBİ
- Integrating computing vision with deep learning for autonomous robot navigation
Otonom robot navigasyonu için derin öğrenme ile bilgisayar vizyonunu entegre etmek
WALEAD KALED SLEAMAN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Sabahattin Zaim ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ Ali HAMİTOĞLU