Dikkat tabanlı ağırlıklandırılmış çoklu-modaliteli kişi yeniden tanıma
Attention based weighted multi-modal person re-identification
- Tez No: 948471
- Danışmanlar: DR. ÖĞR. ÜYESİ OSMAN AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Kişi yeniden tanıma, çoklu modalite, dikkat mekanizmaları, dinamik ağırlıklı füzyon, derin öğrenme, Person re-identification, multi-modal, attention mechanisms, dynamic weighted fusion, deep learning
- Yıl: 2025
- Dil: Türkçe
- Üniversite: OSTİM TEKNİK ÜNİVERSİTESİ
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yazılım Bilim Dalı
- Sayfa Sayısı: 89
Özet
Kişi yeniden tanıma (Person Re-Identification, Re-Id), farklı kamera açıları ve zamanlarda elde edilen görüntülerde aynı bireyin doğru şekilde tanınmasını amaçlar. Bu alanda geliştirilen mevcut çözümler hâlen istenilen başarı seviyesine ulaşamamıştır. Son yıllarda, birden fazla veri türü (modalite) kullanılarak geliştirilen modalitelerin en verimli şekilde nasıl birleştirileceği ve her modalitenin katkısının nasıl etkin şekilde öğrenileceği konusu hâlen çözülmemiş önemli bir sorundur. Bu soruna çözüm getirmek amacıyla, tezde dikkat mekanizmaları ile desteklenmiş, ağırlıklı çoklu-veri türü tabanlı bir yaklaşım sunulmuştur. Önerilen yaklaşım, genel başarıyı artırmanın yanında, özellikle kıyafet değişimi gibi Re-Id probleminin en zorlayıcı senaryoları için de etkili bir çözüm ortaya koymaktadır. Bu çalışmada, görünür ışık (RGB) ve çizim türevli görüntüler (sketch images) üzerinden elde edilen öznitelikler, her örnek için dinamik olarak öğrenilen ağırlıklarla birleştirilmiştir. Farklı veri türlerinden elde edilen fark ve çarpım gibi tamamlayıcı temsil kanalları, Ağırlıklı Dikkat Füzyon modülü aracılığıyla, softmax normalizasyonu kullanılarak ağırlıklı şekilde bir araya getirilmiştir. Model mimarisi, öznitelik çıkarımı için ResNet50 omurgası üzerine kurulmuştur. Ara katmanlarda uygulanan toplu normalizasyon (batch normalization) ve bırakma tekniği (dropout) ile modelin genelleme kabiliyeti ve sağlamlığı artırılmıştır. Son katmanda ise ArcFace katmanı kullanılmış ve böylece yüksek ayırt edicilikte bir sınıflandırma sağlanmıştır. Önerilen model,“Kıyafet Değişimi Altında Kişi Yeniden Tanıma”yarışması veri seti (PRCC) üzerinde test edilmiştir. Elde edilen doğruluk oranları sırasıyla Rank-1 için %87.2, Rank-5 için %88.1, Rank-10 için %92.9 ve Rank-20 için %95.8'dir. Bu deneysel sonuçlar, önerilen yöntemin literatürdeki güncel çalışmalara kıyasla daha üstün performans gösterdiğini ortaya koymaktadır.
Özet (Çeviri)
Re-Id aims to correctly recognize the same individual across images captured at different times and from different camera viewpoints. Current solutions in this field still fall short of the desired performance levels. Currently, how to combine modalities efficiently and learn the contribution of each modality effectively have remained an unsolved problem. To tackle this issue, this thesis proposes a novel approach based on weighted multi-modal fusion, enhanced by attention mechanisms. The proposed method not only improves overall performance but also provides effective solutions for the most challenging Re-Id scenarios, such as clothing changes. In our study, features extracted from visible spectrum images and sketch/derived thermal images are combined using dynamically learned weights for each sample. Complementary representation channels such as difference and multiplication, derived from the modalities, are fused through the Weighted Attention Fusion module using softmax normalization. The model architecture is built upon the ResNet50 backbone for feature extraction. To enhance the model's robustness and generalization ability, batch normalization and dropout techniques are applied in the intermediate layers. In the output layer, an ArcFace layer is employed to achieve highly discriminative classification. The proposed model is comprehensively evaluated on the Person Re-identification under Clothing Change Challenge (PRCC) dataset. The obtained accuracy rates are 87.2% at Rank-1, 88.1% at Rank-5, 92.9% at Rank-10, and 95.8% at Rank-20. These experimental results demonstrate that the proposed method outperforms recent studies in the literature.
Benzer Tezler
- Makine Öğrenmesi tabanlı yazılım maliyet tahmini yöntemlerinin karşılaştırmalı analizi
A comparive analysis of machine learning based software cost estimation methods
MUAZ GÜLTEKİN
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OYA KALIPSIZ
- Dağıtık üretim güç sistemlerinde geliştirilmiş oylama modeli tabanlı arıza tespiti ve sınıflandırması
Improved voting model based fault detection and classification in distributed generation power systems
FEVZEDDİN ÜLKER
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET KÜÇÜKER
- Derin öğrenme tabanlı prostat görüntülerinin segmentasyonu
Segmentation of deep learning-based prostate images
HAKAN ÖCAL
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NECAATTİN BARIŞÇI
- Yenilenebilir enerji sistemlerinde ağırlıklı bulanık öbekleme tabanlı bir yer seçimi yöntemi
A weighted fuzzy clustering-based facility location model for renewable energy systems
GÖKÇE KILIÇKAYA ÇAKMAK
Doktora
Türkçe
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Üniversitesi-CerrahpaşaEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. TARIK KÜÇÜKDENİZ
- Delving into curriculum content and pedagogy of the first-year industrial design studio through reflective writing: A study on cognitive and affective processes
Yansıtıcı yazma yoluyla birinci sınıf endüstriyel tasarım stüdyosu ders içeriği ve pedagojisinin derinlemesine incelenmesi: Bilişsel ve duyuşsal süreçler üzerine bir çalışma
KORAY GELMEZ
Doktora
İngilizce
2016
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstri Ürünleri Tasarımı Ana Bilim Dalı
DOÇ. DR. HATİCE HÜMANUR BAĞLI