Derin sinir ağları kullanılarak stereo termal ve çapraz modalite ile derinlik tahmini
Depth estimation with stereo thermal and cross modality using deep neural networks
- Tez No: 702909
- Danışmanlar: PROF. DR. HASAN ŞAKİR BİLGE
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Stereo görüntüler kullanılarak derinlik tahmini, bilgisayarlı görme alanında zorlu bir problemdir. Bu problemi çözmek için birçok farklı çalışma yapılmıştır. Gelişen makine öğrenimi ile bu sorunun üstesinden gelmek genellikle sinir ağı tabanlı çözümlerle yapılır. FADNet ve PSMNet sinir ağları, başarıları kanıtlanmış, günümüzde kullanılmaya devam edilen bu çözümlerin önde gelenlerinden ikisidir. Bu tezde, bu iki çalışma, yapılarında uygun değişiklikler yapılarak kullanılmıştır. Öte yandan, bu çözümlerde kullanılan görüntüler çoğunlukla görünür spektrumdadır. Ancak, bazı koşullarda görünür spektrumlardan daha faydalı bilgiler vermesi nedeniyle derinlik tahmini için Kızılötesi (IR) spektrumunun da kullanılma ihtiyacı ortaya çıkmıştır. Bu kapsamda, kullanılabilir veri kümesi olarak CATS veri kümesi bulunmuştur. Fakat bu veri kümesi, kendisinde mevcut olan doğrultulmuş görüntülerin uyumsuzluğu sebebiyle olduğu gibi kullanılamamıştır. Termal-termal görüntü çiftleri için CATS veri kümesinde bulunan ham görüntüler ile LiDAR cihazından elde edilmiş, sahnenin derinliğini ifade eden, uzaysal nokta kümeleri çeşitli işlemlerden geçirilerek sinir ağlarını eğitmek için uygun hale getirilmiştir. Diğer yandan, görünür-termal görüntü çiftleri içinde, CATS veri kümesinde bulunan mevcut görüntüler, görünür kamera ve termal kameraların bakış alanlarının (FOV) farklı olması sebebiyle kullanılamamış, bunun yerine, yeni bir veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesinde, LiDAR cihazından elde edilen ayrık örnekleme sayısının yetersizliği sebebiyle, örnek arttırma işlemi yapılmıştır. Bu çalışmada, FADNet ve PSMNet sinir ağları, termal-termal ve görünür-termal görüntü çiftleriyle ayrı ayrı eğitilerek sonuçları karşılaştırılmıştır.
Özet (Çeviri)
Depth estimation using stereo images is a challenging problem in computer vision. Many different studies have been carried out to solve this problem. With developing machine learning, tackling this problem is often done with neural network-based solutions. FADNet and PSMNet neural networks are two of the leading solutions that have proven their success and continue to be used today. In this thesis, these two studies were used with appropriate modifications in their structures. On the other hand, the images used in these solutions are mostly in the visible spectrum. However, the need to use the Infrared (IR) spectrum for depth estimation has emerged, as it gives beneficial information than the visible spectra in some conditions. In this context, the CATS dataset was found as a usable dataset. However, this dataset could not be used as it is due to the incompatibility of the rectified images available in it. For thermal-thermal image pairs, the raw images in the CATS dataset and spatial point cloud, which are obtained by LiDAR and express the depth of the scene, are made suitable for the training of networks by undergoing various processes. On the other hand, for the visible-thermal image pairs, the existing images in the CATS dataset could not be used due to the difference in the field of view of the visible and thermal cameras, instead, a new dataset was created. In this created dataset, due to the insufficient number of discrete samples obtained from the LiDAR device, sample augmentation was performed. In this study, FADNet and PSMNet neural networks were trained separately with thermal-thermal and visible-thermal image pairs and their results were compared.
Benzer Tezler
- Planar geometry estimation with deep learning
Derin öğrenme ile düzlemsel geometrinin tahminlenmesi
FURKAN EREN UZYILDIRIM
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji EnstitüsüBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ÖZUYSAL
- Bayes tümleştirme teknikleri kullanılarak yüzey kurma ve ayrıt sezme
Visual surface recontruction and boundary detection using bayesian integration
BİLGE GÜNSEL
Doktora
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ERDAL PANAYIRCI
- Afet yönetimi kapsamında akıllı şehirlerde deprem sonrası yangınların ve coğrafi konumlarının derin öğrenme ve stereo görüş tabanlı sistemlerle tespiti
Deep learning and stereo vision based detection of post-earthquake fire geolocation for smart cities within the scope of disaster management
TACETTİN KÜSTÜ
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiYıldız Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALEV TAŞKIN
- Ai-based visual odometry implementation on an embedded system
Yapay zeka tabanlı görsel odometrinin gömülü bir sistemde gerçeklemesi
OĞUZHAN BÜYÜKSOLAK
Yüksek Lisans
İngilizce
2023
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ
- A deep learning approach to surface reconstruction for surgical navigation during laparoscopic, endoscopic or robotic surgery
Laparoskopik, endoskopik ve robotik cerrahide navigasyon (yön bulma) amacıyla derin öğrenme yaklaşımıyla organ yüzeyi oluşturma
AMIN ZABARDAST
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiSağlık Bilişimi Ana Bilim Dalı
PROF. DR. ÜNAL ERKAN MUMCUOĞLU