Deep learning-based object tracking system by using visual and thermal infrared fusion
Termal kızılötesi ve görünür bant kaynaştırma kullanarak derin öğrenme tabanlı nesne takip sistemi
- Tez No: 827079
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. ERDEM AKAGÜNDÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Nesne takibi, özellikle engeller (oklüzyon), aydınlatma değişiklikleri ve hareket bulanıklığı gibi zorlu koşullarda bilgisayarla görünün zorlu bir problem olarak karşımıza çıkmaktadır. Son yıllarda, derin öğrenme, nesne takibi için büyük umut vaat etmektedir. Ancak, çoğu derin öğrenme tabanlı nesne takip modeli yalnızca görünür bant (RGB) görüntüleri kullanır. Bu nedenle zorlu koşullarda sınırlı performans gösterirler. Fakat termal kızılötesi elektromanyetik dalgalar (TIR) nesne sıcaklığı gibi ek bilgiler sağlayabilmektedirler. Bu tez, kaynaştırılmış RGBT görüntülerini kullanan derin öğrenme tabanlı bir nesne izleme sistemi önermektedir. Sistem iki ana bileşenden oluşur: öznitelik çıkarıcı ve takip edici. Öznitelik çıkarıcı, hem RGB hem de TIR görüntülerinden özellikler ve nirengi noktaları çıkarır. Takip edici daha sonra bir sonraki karedeki nesneyi izlemek için bu özellikleri kullanır. Önerilen sistem, yaygın olarak kullanılan RGBT nesne izleme veri kümeleri olan RGBT234 ve LasHeR veri kümeleri üzerinde değerlendirilmiştir. Sonuçlar, önerilen sistemin RGBT234 ve LasHeR veri setlerinde son teknoloji ürünü RGB nesne izleyicilerinden daha iyi performans sergilediğini göstermektedir.
Özet (Çeviri)
Object tracking in computer vision presents a formidable challenge, particularly when faced with adverse conditions like occlusion, variations in illumination, and motion blur. In recent years, deep learning has shown great promise for object tracking. However, the vast majority of deep learning-based object trackers use only visible band images. This limits their performance in challenging conditions, as thermal infrared electromagnetic waves can provide additional information about the object, such as its temperature. This thesis proposes a deep learning-based object tracking system that uses visual band (RGB) and thermal infrared (RGBT) fused images. The system consists of two main components: a feature extractor and a tracker. The feature extractor extracts features from both RGB and thermal infrared (TIR) images. The tracker then uses these features to track the object in the next frame. The proposed system is evaluated on the RGBT234 and LasHeR datasets, which are the mostly used RGBT object tracking datasets in the literature. The results show that the proposed system outperforms state-of-the-art RGB object trackers on the RGBT234 and LasHeR datasets.
Benzer Tezler
- Visual object recognition and detection using deep learning
Derinlikli öğrenme ile görsel nesne tanıma ve tespit etme
BURAK ÇÖREKCİOĞLU
Yüksek Lisans
İngilizce
2017
İstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Synthetic data generation for training and evaluation of deep learning-based computer vision models
Derin öğrenme-bazlı bilgisayarlı göre modellerinin eğitimi ve değerlendirilmesi için sentetik veri üretimi
ABDULRAHMAN KERİM
- Elektrikli gemilerin şarj prosesi için yapay zekâ tabanlı yeni bir otonom kontrol sistemi
A novel AI-based autonomous control system for the charging process of electric ships
EMİN GÜNEY
- Derin öğrenme ile depremden sonra enkaz kaldırma çalışmalarının uydu görüntüleriyle takibi: Hatay örneği
Monitoring debris removal efforts after an earthquake with satellite imagery with deep learning: The Hatay example
BERFİN NUR KARABULUT
- Otonom araçların şerit algılama sistemlerinde YOLO mimarilerinin (v9, v11, v12, v26) semantik segmentasyon performanslarının karşılaştırmalı değerlendirilmesi
Comparative evaluation of the semantic segmentation performance of YOLO architectures (v9, v11, v12, v26) in lane detection systems of autonomous vehicles
ZEYNEP KUBİLAY YUNSO
Yüksek Lisans
Türkçe
2026
Sakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
Yükleniyor...