Geri Dön

Monocular depth estimation with thermal data

Thermal verilerle monoküler derinlik tahmini

PDF İndir

  1. Tez No: 902880
  2. Yazar: ALİ AKYAR
  3. Danışmanlar: DR. ÖĞR. ÜYESİ OSMAN SERDAR GEDİK
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 101

Özet

Derinlik tahmini, bir sahnedeki nesnelerle kamera arasındaki mesafeyi tahmin etmeyi içeren zorlayıcı bir bilgisayarlı görü (computer vision) görevidir. Bu, 2D görüntüdeki her pikselin gözlem noktasına olan uzaklığının tahmin edilmesi anlamına gelir. Termal görüntülerden derinlik haritaları (depth map) oluşturma gereksinimi, modern uygulamalarda giderek daha kritik hale gelmektedir. Termal görüntüler kullanılarak yapılan derinlik tahmini ile ilgili literatür incelendiğinde, bu alanda state-of-the-art (en ileri düzey) monoküler derinlik tahmini (MDE) çalışmalarının eksik olduğu görülmektedir. Bu eksikliği gidermek amacıyla, bu çalışma, beş adet MDE modelinin termal görüntüler üzerinde derinlik tahmini yapabilme yeteneklerini test ederek değerlendirmeyi amaçlamaktadır. Bu MDE modelleri hem CNN tabanlı hem de ViT tabanlı mimariler kullanılarak eğitilmiştir. Seçilen modellerden ikisi CNN tabanlı mimari ile geliştirilmişken, diğer üç model ViT tabanlı mimari ile geliştirilmiştir. Bazı MDE modelleri tek bir veri setiyle bazı modeller karışık veri setleriyle bazıları da çapraz veri seti transfer yöntemi ile eğitilip test edilmiştir. Bazı çalışmalar, veri motoru (data engine) olarak adlandırılan eğitilmiş bir modelle kendi veri setlerini üretmektedir. Her ne kadar termal veri seti hazırlansa da, bu beş non-termal çalışma, Multi-Spectral Dynamic Imaging (MSX) teknolojisi ile elde edilmiş hibrit bir görüntü veri seti ile karşılaştırılmış, state-of-the-art çalışmalar değerlendirilmiştir. MSX teknolojisi, termal ve görsel spektrumları birleştirerek ayrıntılı termal görüntüler üretir. Bu teknoloji kullanılarak bu çalışma için hazırlanan veri seti görüntüleri, normal termal görüntüler kadar bulanık ve düşük ayrıntılı değildir. Öte yandan, RGB görüntüleri kadar mükemmel ışık koşullarında alınmamışlardır. Beş yöntem, daha önce yapılmamış olan termal veri setimiz ile test edilmiştir. Ayrıca, termal veriler için bir görüntü iyileştirme derin öğrenme modeli önerilmiştir. Bu model, monoküler derinlik tahmini için gerekli özellikleri çıkarmaya yardımcı olmaktadır. Deneysel sonuçlar, önerilen model kullanıldıktan sonra, bu beş yöntemin termal görüntü derinlik tahmini performansında önemli ölçüde artış gösterdiğini ortaya koymaktadır.

Özet (Çeviri)

Depth estimation is a challenging computer vision task that involves estimating the distance between objects in a scene and the camera. It predicts how far each pixel in the 2D image is from the capturing point. The need for generating depth maps from thermal images is increasingly critical in modern applications. Upon reviewing the literature on depth prediction using thermal images, it becomes evident that there is a lack of state-of-the-art monocular depth estimation (MDE) studies in this area. To address this gap, the present study aims to evaluate five MDE models, which are considered state-of-the-art, by testing their ability to perform depth prediction on thermal images. These MDE models have been trained using both CNN-based and ViT-based architectures. Two of the selected models have been developed using CNN-based architecture, while the other three models have been developed using ViT-based architecture. The datasets used for training and testing the selected state-of-the-art models have been thoroughly examined. While some MDE models are trained on a single dataset, others are trained on a mix of datasets and tested using a cross-dataset transfer method. Some studies produce their own datasets using a trained model referred to as a data engine. Although there are studies with thermal images too, these five non-thermal studies have been benchmarked, state-of-the-art studies with a hybrid image dataset taken by Multi-Spectral Dynamic Imaging (MSX) technology. MSX technology produces detailed thermal images by combining the thermal and visual spectrums. Using this technology, dataset images prepared for this study are not as blurry and poorly detailed as the normal thermal images. On the other hand, they are not taken at the perfect light conditions as RGB images. Five methods have been compared under test with thermal dataset which was not done before. Additionally, an image enhancement deep learning model has been proposed for thermal data. This model helps extract the features required for monocular depth estimation. The experimental results demonstrate that, after using the proposed model, the performance of these five methods under test increased significantly for thermal image depth prediction.

Benzer Tezler

  1. Tez No

    389385

    A review and evaluation of development in exploration, production, reserves estimation, and research efforts for shale gas and oil

    Şeyl gazı ve petrolü için arama, üretim, rezerv kestirimive araştırma çalışmalarının incelenmesi ve değerlendirilmesi

    OSMAN MOHAMMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Petrol ve Doğal Gaz Mühendisliğiİstanbul Teknik Üniversitesi

    Petrol ve Doğal Gaz Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. İBRAHİM METİN MIHÇAKAN

  2. Tez No

    798182

    Monocular depth estimation with self-supervised representation learning

    Öz-denetimli temsil öğrenmeyle monoküler derinlik tahmini

    UFUK UMUT ŞENTÜRK

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NAZLI İKİZLER CİNBİŞ

  3. Tez No

    631070

    Planar geometry estimation with deep learning

    Derin öğrenme ile düzlemsel geometrinin tahminlenmesi

    FURKAN EREN UZYILDIRIM

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji Enstitüsü

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA ÖZUYSAL

  4. Tez No

    759166

    Adapting bilateral networks to monocular depth estimation for real-time inference

    Eş zamanlı çıkarım için ikili ağların monoküler derinlik tahminine uyarlanması

    SAMİ MENTEŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA FURKAN KIRAÇ

  5. Tez No

    760662

    Addressing the static scene assumption and the scale ambiguity in self-supervised monocular depth estimation

    Denetimsiz monoküler derinlik tahmini: Statik sahne varsayımı ve ölçek belirsizliği

    SADRA SAFADOUST

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FATMA GÜNEY

Geri Dön