Monocular depth estimation from thermal images via edge-guided RGB synthesis
Kenar yönlendirmeli RGB sentezi ile termal görüntülerden moleküler derinlik tahmini
- Tez No: 984109
- Danışmanlar: DR. ÖĞR. ÜYESİ OSMAN SERDAR GEDİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Monoküler derinlik tahmini bilgisayarlı görüde robotik, otonom sistemler ve gözetim gibi alanlar başta olmak üzere yaygın olarak kullanılır. Başarılı modellerin çoğu RGB görüntüler üzerinde eğitilmiştir. Bu modeller, alan farkı nedeniyle termal (kızılötesi) görüntülerde zayıf performans gösterir. Ayrıca sınırlı IR-derinlik veri kümelerinin olması termal görüntüler üzerinde yeni modellerin eğitilmesini zor ve maliyetli hale getirir. Termal görüntülerden derinlik tahminini geliştirmek için yeni bir yöntem öneriyoruz. IR verisi üzerinde modelleri eğitmek yerine, IR görüntüleri gerçekçi RGB görüntülere dönüştürüp önceden eğitilmiş güçlü RGB tabanlı derinlik tahmin modellerini kullanıyoruz. Yöntemimiz, sahnenin yapısını korumak için kenar yönlendirmeli görüntü üretimi kullanır. Bu, üretilen RGB görüntünün IR girişinin geometrisiyle eşleşmesini sağlar. Kullanıdığımız KAIST Multispectral Pedestrian Detection veri kümesi hizalanmış RGB ve IR görüntüler içerir. Derinlik haritaları eksik olduğu için, gerçek RGB görüntülerden ZoeDepth ve Depth Anything kullanarak derinlik haritaları üretilir ve sahte gerçek değer olarak kullanılırlar. Daha sonra IR girişi ve üretilen RGB girişinden elde edilen sonuçları karşılaştırıyoruz. Görüntü üretimi için iki gelişmiş görüntü üretim modeli kullanılır. Kenar algılamadan önce IR görüntüler üzerinde çeşitli ön işlemler uygulanır ve elde edilen kenar haritaları üretim sürecini yönlendirmek için kullanılır. Ortaya çıkan RGB görüntüler gerçekçi görünür ve orijinal yapıyı korur. Yaygın derinlik metrikleri kullanarak değerlendirmeler yapılıyor. Sonuçlar, üretilen RGB görüntülerin doğrudan IR girişine kıyasla çok daha iyi derinlik sonuçları verdiğini gösteriyor. Hem ZoeDepth hem de Depth Anything modelleri, üretilen görüntülerle daha iyi performans gösteriyor. Bu tez, kenar yönlendirmeli RGB sentezinin termal ve RGB alanları arasındaki farkı kapatabileceğini gösteriyor. Bu, önceden eğitilmiş RGB modellerinin termal veriler üzerinde etkili bir şekilde kullanılmasına olanak tanır. Yöntem herhangi bir eğitim veya termal derinlik etiketi gerektirmez. Ayrıca RGB kameraların başarısız olduğu düşük ışık koşullarında da iyi çalışır.
Özet (Çeviri)
Monocular depth estimation is widely used in computer vision. It has applications in robotics, autonomous systems, and surveillance. Most of the successful models are trained on RGB images. These models perform poorly on thermal (infrared) images due to the domain gap. There are also limited IR-depth datasets. This makes training new models on thermal images difficult and costly. We propose a new method to improve depth estimation from thermal images. Instead of training models on IR data, we convert IR images into realistic RGB images. Then, we use strong pretrained RGB-based depth estimation models. Our method uses edge-guided image generation to preserve the structure of the scene. This allows the generated RGB image to match the geometry of the IR input. We use the KAIST Multispectral Pedestrian Detection Dataset. It includes aligned RGBandIRimages. Sinceitlacksdepthmaps, wegenerate depth maps from real RGB images using ZoeDepth and Depth Anything. These are used as pseudo ground truth. We then compare the results from IR input and generated RGBinput. For image generation, we use two advanced image generation models. We apply preprocessing onIRimagesbeforeedgedetection. TheCannyedgemapsarethen used to guide the generation process. The resulting RGB images look realistic and keep the original structure. We evaluate the pipeline using commondepthmetricsandresults show that using generated RGB images gives much better depth results compared to direct IR input. Both ZoeDepth and Depth Anything models perform better with the generated images. This thesis shows that edge-guided RGB synthesis can bridge the gap between thermal and RGB domains. It allows pretrained RGB models to be used effectively on thermal data. The method does not need any training or thermal depth labels. It also works well in low-light conditions where RGB cameras fail.
Benzer Tezler
- Monocular depth estimation with thermal data
Thermal verilerle monoküler derinlik tahmini
ALİ AKYAR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OSMAN SERDAR GEDİK
- A review and evaluation of development in exploration, production, reserves estimation, and research efforts for shale gas and oil
Şeyl gazı ve petrolü için arama, üretim, rezerv kestirimive araştırma çalışmalarının incelenmesi ve değerlendirilmesi
OSMAN MOHAMMED
Yüksek Lisans
İngilizce
2015
Petrol ve Doğal Gaz Mühendisliğiİstanbul Teknik ÜniversitesiPetrol ve Doğal Gaz Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İBRAHİM METİN MIHÇAKAN
- RDX 'ın detonasyonunda farklı zeminler üzerinde oluşturacağı kraterlerin sayısal değerlendirilmesi
Numerical evaluation of craters formed by RDX on different ground during detonation
İRFAN ÖZSOY
- Monocular depth estimation and object detection using depth-wise convolution
Derinlik bilgesel dönüşüm kullanarak monoküler derinlik tahmini ve nesne tespiti
MASUM SHAH JUNAYED
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MD BAHARUL ISLAM
- Adapting bilateral networks to monocular depth estimation for real-time inference
Eş zamanlı çıkarım için ikili ağların monoküler derinlik tahminine uyarlanması
SAMİ MENTEŞ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA FURKAN KIRAÇ
