Dikkat tabanlı ağırlıklandırılmış çoklu-modaliteli kişi yeniden tanıma
Attention based weighted multi-modal person re-identification
- Tez No: 948471
- Danışmanlar: DR. ÖĞR. ÜYESİ OSMAN AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Kişi yeniden tanıma, çoklu modalite, dikkat mekanizmaları, dinamik ağırlıklı füzyon, derin öğrenme, Person re-identification, multi-modal, attention mechanisms, dynamic weighted fusion, deep learning
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Ostim Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yazılım Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Kişi yeniden tanıma (Person Re-Identification, Re-Id), farklı kamera açıları ve zamanlarda elde edilen görüntülerde aynı bireyin doğru şekilde tanınmasını amaçlar. Bu alanda geliştirilen mevcut çözümler hâlen istenilen başarı seviyesine ulaşamamıştır. Son yıllarda, birden fazla veri türü (modalite) kullanılarak geliştirilen modalitelerin en verimli şekilde nasıl birleştirileceği ve her modalitenin katkısının nasıl etkin şekilde öğrenileceği konusu hâlen çözülmemiş önemli bir sorundur. Bu soruna çözüm getirmek amacıyla, tezde dikkat mekanizmaları ile desteklenmiş, ağırlıklı çoklu-veri türü tabanlı bir yaklaşım sunulmuştur. Önerilen yaklaşım, genel başarıyı artırmanın yanında, özellikle kıyafet değişimi gibi Re-Id probleminin en zorlayıcı senaryoları için de etkili bir çözüm ortaya koymaktadır. Bu çalışmada, görünür ışık (RGB) ve çizim türevli görüntüler (sketch images) üzerinden elde edilen öznitelikler, her örnek için dinamik olarak öğrenilen ağırlıklarla birleştirilmiştir. Farklı veri türlerinden elde edilen fark ve çarpım gibi tamamlayıcı temsil kanalları, Ağırlıklı Dikkat Füzyon modülü aracılığıyla, softmax normalizasyonu kullanılarak ağırlıklı şekilde bir araya getirilmiştir. Model mimarisi, öznitelik çıkarımı için ResNet50 omurgası üzerine kurulmuştur. Ara katmanlarda uygulanan toplu normalizasyon (batch normalization) ve bırakma tekniği (dropout) ile modelin genelleme kabiliyeti ve sağlamlığı artırılmıştır. Son katmanda ise ArcFace katmanı kullanılmış ve böylece yüksek ayırt edicilikte bir sınıflandırma sağlanmıştır. Önerilen model,“Kıyafet Değişimi Altında Kişi Yeniden Tanıma”yarışması veri seti (PRCC) üzerinde test edilmiştir. Elde edilen doğruluk oranları sırasıyla Rank-1 için %87.2, Rank-5 için %88.1, Rank-10 için %92.9 ve Rank-20 için %95.8'dir. Bu deneysel sonuçlar, önerilen yöntemin literatürdeki güncel çalışmalara kıyasla daha üstün performans gösterdiğini ortaya koymaktadır.
Özet (Çeviri)
Re-Id aims to correctly recognize the same individual across images captured at different times and from different camera viewpoints. Current solutions in this field still fall short of the desired performance levels. Currently, how to combine modalities efficiently and learn the contribution of each modality effectively have remained an unsolved problem. To tackle this issue, this thesis proposes a novel approach based on weighted multi-modal fusion, enhanced by attention mechanisms. The proposed method not only improves overall performance but also provides effective solutions for the most challenging Re-Id scenarios, such as clothing changes. In our study, features extracted from visible spectrum images and sketch/derived thermal images are combined using dynamically learned weights for each sample. Complementary representation channels such as difference and multiplication, derived from the modalities, are fused through the Weighted Attention Fusion module using softmax normalization. The model architecture is built upon the ResNet50 backbone for feature extraction. To enhance the model's robustness and generalization ability, batch normalization and dropout techniques are applied in the intermediate layers. In the output layer, an ArcFace layer is employed to achieve highly discriminative classification. The proposed model is comprehensively evaluated on the Person Re-identification under Clothing Change Challenge (PRCC) dataset. The obtained accuracy rates are 87.2% at Rank-1, 88.1% at Rank-5, 92.9% at Rank-10, and 95.8% at Rank-20. These experimental results demonstrate that the proposed method outperforms recent studies in the literature.
Benzer Tezler
- Hibrit derin öğrenme yaklaşımları ile fundus görüntüleri üzerinden göz hastalıkları tespiti
Detecting eye diseases from fundus images using hybrid deep learning approaches
MUSTAFA YURDAKUL
- COVID-19 pandemisi kapsamında Fırat Havzası yerleşimlerinde karantina döneminin hava ve su kalitesi üzerindeki etkilerinin peyzaj planlama açısından değerlendirilmesi
Evaluation of the effects of the quarantine period on air and water quality in Euphrates Basin settlements within the scope of the COVID-19 pandemic in terms of landscape planning
HANDE ÖZVAN
- Makine Öğrenmesi tabanlı yazılım maliyet tahmini yöntemlerinin karşılaştırmalı analizi
A comparive analysis of machine learning based software cost estimation methods
MUAZ GÜLTEKİN
- Dağıtık üretim güç sistemlerinde geliştirilmiş oylama modeli tabanlı arıza tespiti ve sınıflandırması
Improved voting model based fault detection and classification in distributed generation power systems
FEVZEDDİN ÜLKER
- Liman kimliğinin kruvaziyer turizmi üzerindeki etkileri ve limanlara kimlik kazandırılması
The effects of port identity on cruise tourism and gaining an identity for ports
ŞEYMA BAYAZIT
Doktora
Türkçe
2018
İstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
Yükleniyor...