Deep learning-based object tracking system by using visual and thermal infrared fusion
Termal kızılötesi ve görünür bant kaynaştırma kullanarak derin öğrenme tabanlı nesne takip sistemi
- Tez No: 827079
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. ERDEM AKAGÜNDÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Nesne takibi, özellikle engeller (oklüzyon), aydınlatma değişiklikleri ve hareket bulanıklığı gibi zorlu koşullarda bilgisayarla görünün zorlu bir problem olarak karşımıza çıkmaktadır. Son yıllarda, derin öğrenme, nesne takibi için büyük umut vaat etmektedir. Ancak, çoğu derin öğrenme tabanlı nesne takip modeli yalnızca görünür bant (RGB) görüntüleri kullanır. Bu nedenle zorlu koşullarda sınırlı performans gösterirler. Fakat termal kızılötesi elektromanyetik dalgalar (TIR) nesne sıcaklığı gibi ek bilgiler sağlayabilmektedirler. Bu tez, kaynaştırılmış RGBT görüntülerini kullanan derin öğrenme tabanlı bir nesne izleme sistemi önermektedir. Sistem iki ana bileşenden oluşur: öznitelik çıkarıcı ve takip edici. Öznitelik çıkarıcı, hem RGB hem de TIR görüntülerinden özellikler ve nirengi noktaları çıkarır. Takip edici daha sonra bir sonraki karedeki nesneyi izlemek için bu özellikleri kullanır. Önerilen sistem, yaygın olarak kullanılan RGBT nesne izleme veri kümeleri olan RGBT234 ve LasHeR veri kümeleri üzerinde değerlendirilmiştir. Sonuçlar, önerilen sistemin RGBT234 ve LasHeR veri setlerinde son teknoloji ürünü RGB nesne izleyicilerinden daha iyi performans sergilediğini göstermektedir.
Özet (Çeviri)
Object tracking in computer vision presents a formidable challenge, particularly when faced with adverse conditions like occlusion, variations in illumination, and motion blur. In recent years, deep learning has shown great promise for object tracking. However, the vast majority of deep learning-based object trackers use only visible band images. This limits their performance in challenging conditions, as thermal infrared electromagnetic waves can provide additional information about the object, such as its temperature. This thesis proposes a deep learning-based object tracking system that uses visual band (RGB) and thermal infrared (RGBT) fused images. The system consists of two main components: a feature extractor and a tracker. The feature extractor extracts features from both RGB and thermal infrared (TIR) images. The tracker then uses these features to track the object in the next frame. The proposed system is evaluated on the RGBT234 and LasHeR datasets, which are the mostly used RGBT object tracking datasets in the literature. The results show that the proposed system outperforms state-of-the-art RGB object trackers on the RGBT234 and LasHeR datasets.
Benzer Tezler
- Deep learning-based visual object tracking using edge computing on embedded system
Gömülü sistem üzerinde sınır bilişim kullanarak derin öğrenme tabanlı görsel nesne izleme
MOHAMMAD FAHD HUSSEIN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiGaziantep ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERKAN ÖZBAY
- Sabit kanatlı insansız hava araçları için kilitlenme algoritması
Lock-on algorithm for fixed-wing unmanned aerial vehicles
MERVE İSMAİLVELİOĞLU
Yüksek Lisans
Türkçe
2025
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. MUSTAFA DOĞAN
- Otomotiv sektöründe parça kontrolü için yapay zekâ destekli yazılım geliştirilmesi
Development of ai-supported software for part inspection in the automotive industry
ONUR ARDIÇ
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKÇEN ÇETİNEL
- Visual object recognition and detection using deep learning
Derinlikli öğrenme ile görsel nesne tanıma ve tespit etme
BURAK ÇÖREKCİOĞLU
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Synthetic data generation for training and evaluation of deep learning-based computer vision models
Derin öğrenme-bazlı bilgisayarlı göre modellerinin eğitimi ve değerlendirilmesi için sentetik veri üretimi
ABDULRAHMAN KERİM
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. UFUK ÇELİKCAN