Zero-shot action recognition via prompt enrichment and temporal score fusion
Komut zenginleştirme ve zamansal skor füzyonu ile sıfır örnekli eylem tanıma
- Tez No: 1007803
- Danışmanlar: DR. ÖĞR. ÜYESİ BARIŞ ÖZCAN, DR. ÖĞR. ÜYESİ ERKUT ARICAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Videolarda sıfır örnekli eylem tanıma, eylemlerin anlamsal betimlemeleri aracılığıyla bilgiyi dilden görsel alana aktararak büyük, etiketlenmiş veri kümelerine olan bağımlılığı azaltmanın bir yolu olarak görülmektedir. Büyük görsel dil modellerindeki ilerlemelere karşın, tam gözetimli performansa yaklaşabilmek için çoğu zaman ek eğitim, öğrenilmiş sınıflandırıcılar veya veri kümesine özgü kalibrasyon adımları hâlâ gerekmektedir. Bu çalışmada, sıfır örnekli eylem tanıma için eğitime ihtiyaç duymayan bir son işlem çerçevesi önerilmektedir. Video öznitelikleri, dondurulmuş bir MoTE omurgasından çıkarılmakta ve sınıf anlamsallığı, kısa sınıf adlarını daha zengin metinsel ifadelerle değiştiren TEAR tarzı metinsel betimleyiciler kullanılarak zenginleştirilmektedir. Yanıltıcı bağlamsal ipuçlarını bastırmak ve video içeriğiyle uyumlu nesne kanıtını vurgulamak amacıyla nedensel ve nesne tabanlı yeniden ağırlıklandırma uygulanmaktadır. Buna paralel olarak, zamansal bölütleme ve maksimum havuzlama kullanılarak logit değerleri zaman boyunca birleştirilmekte ve ek bir görsel sinyal sağlanmaktadır. Tüm dallar, logitlerin basit ağırlıklı birleştirilmesi ile bir araya getirilmekte; füzyon ağırlıkları her veri kümesi için ayrılan ve eğitimde kullanılmayan bir doğrulama bölümünde yapılan ızgara araması ile seçilmekte, ardından değerlendirme sırasında sabit tutulmakta ve model parametreleri üzerinde herhangi bir ince ayar işlemi gerçekleştirilmemektedir. UCF101, HMDB51 ve Kinetics 600 gibi standart video kıyaslama veri kümeleri üzerindeki deneyler, yalnızca çıkarım zamanı düzenlemeleri ile son teknoloji seviyesinde sıfır örnekli performans elde edildiğini göstermektedir. Bu çalışma, istem zenginleştirme, nedensel ve nesne farkındalıklı yeniden ağırlıklandırma ve zamansal skor füzyonunun tamamen sonradan uygulanan bir şekilde bir araya getirilmesinin, temel omurga mimarisini değiştirmeden sıfır örnekli eylem tanımayı önemli ölçüde güçlendirebileceğini ortaya koymaktadır.
Özet (Çeviri)
Zero-shot action recognition in videos is regarded as a way to reduce reliance on large annotated datasets by transferring knowledge from language to vision through semantic descriptions of actions. Despite progress with large vision language models, extra training, learned classifiers, or dataset specific calibration are still often required to approach fully supervised performance. This research proposes a training free post processing framework for zero-shot action recognition. Video features are extracted from a frozen MoTE backbone, and class semantics are enriched using TEAR style textual descriptors that replace short class names with richer language. Causal and object based reweighting are applied to down weight misleading contextual cues and emphasize object evidence that aligns with the video content. In parallel, temporal segmentation with max pooling is used to aggregate logits over time to provide an extra visual signal. All branches are merged through a simple weighted fusion of logits. For each dataset, the fusion weights are selected by grid search on a held out validation split and then kept fixed for evaluation, and no finetuning of model parameters is performed. Experiments on standard video benchmarks such as UCF101, HMDB51, and Kinetics 600 show state of the art zero-shot performance using only inference time modifications. This work shows that combining prompt enrichment, causal and object aware reweighting, and temporal score fusion in a purely post hoc manner can substantially strengthen zero-shot action recognition without changing the underlying backbone.
Benzer Tezler
- Ön işlemenin ve askorbik asitin dondurularak depolanan yılan balıklarının (Anguilla anguilla) kalitesine etkileri
Başlık çevirisi yok
H.VOLKAN GÖKSEL
- Sürekli rejim şartlarında nükleer yakıt çubuklarında tek ve iki boyutlu ısı iletiminin analizi
In steady-state conditions analyses of one and two dimensional conduction in nuclear fuel rods
İBRAHİM ATILGAN
