Zero-shot action recognition via prompt enrichment and temporal score fusion
Komut zenginleştirme ve zamansal skor füzyonu ile sıfır örnekli eylem tanıma
- Tez No: 1007803
- Danışmanlar: DR. ÖĞR. ÜYESİ BARIŞ ÖZCAN, DR. ÖĞR. ÜYESİ ERKUT ARICAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Videolarda sıfır örnekli eylem tanıma, eylemlerin anlamsal betimlemeleri aracılığıyla bilgiyi dilden görsel alana aktararak büyük, etiketlenmiş veri kümelerine olan bağımlılığı azaltmanın bir yolu olarak görülmektedir. Büyük görsel dil modellerindeki ilerlemelere karşın, tam gözetimli performansa yaklaşabilmek için çoğu zaman ek eğitim, öğrenilmiş sınıflandırıcılar veya veri kümesine özgü kalibrasyon adımları hâlâ gerekmektedir. Bu çalışmada, sıfır örnekli eylem tanıma için eğitime ihtiyaç duymayan bir son işlem çerçevesi önerilmektedir. Video öznitelikleri, dondurulmuş bir MoTE omurgasından çıkarılmakta ve sınıf anlamsallığı, kısa sınıf adlarını daha zengin metinsel ifadelerle değiştiren TEAR tarzı metinsel betimleyiciler kullanılarak zenginleştirilmektedir. Yanıltıcı bağlamsal ipuçlarını bastırmak ve video içeriğiyle uyumlu nesne kanıtını vurgulamak amacıyla nedensel ve nesne tabanlı yeniden ağırlıklandırma uygulanmaktadır. Buna paralel olarak, zamansal bölütleme ve maksimum havuzlama kullanılarak logit değerleri zaman boyunca birleştirilmekte ve ek bir görsel sinyal sağlanmaktadır. Tüm dallar, logitlerin basit ağırlıklı birleştirilmesi ile bir araya getirilmekte; füzyon ağırlıkları her veri kümesi için ayrılan ve eğitimde kullanılmayan bir doğrulama bölümünde yapılan ızgara araması ile seçilmekte, ardından değerlendirme sırasında sabit tutulmakta ve model parametreleri üzerinde herhangi bir ince ayar işlemi gerçekleştirilmemektedir. UCF101, HMDB51 ve Kinetics 600 gibi standart video kıyaslama veri kümeleri üzerindeki deneyler, yalnızca çıkarım zamanı düzenlemeleri ile son teknoloji seviyesinde sıfır örnekli performans elde edildiğini göstermektedir. Bu çalışma, istem zenginleştirme, nedensel ve nesne farkındalıklı yeniden ağırlıklandırma ve zamansal skor füzyonunun tamamen sonradan uygulanan bir şekilde bir araya getirilmesinin, temel omurga mimarisini değiştirmeden sıfır örnekli eylem tanımayı önemli ölçüde güçlendirebileceğini ortaya koymaktadır.
Özet (Çeviri)
Zero-shot action recognition in videos is regarded as a way to reduce reliance on large annotated datasets by transferring knowledge from language to vision through semantic descriptions of actions. Despite progress with large vision language models, extra training, learned classifiers, or dataset specific calibration are still often required to approach fully supervised performance. This research proposes a training free post processing framework for zero-shot action recognition. Video features are extracted from a frozen MoTE backbone, and class semantics are enriched using TEAR style textual descriptors that replace short class names with richer language. Causal and object based reweighting are applied to down weight misleading contextual cues and emphasize object evidence that aligns with the video content. In parallel, temporal segmentation with max pooling is used to aggregate logits over time to provide an extra visual signal. All branches are merged through a simple weighted fusion of logits. For each dataset, the fusion weights are selected by grid search on a held out validation split and then kept fixed for evaluation, and no finetuning of model parameters is performed. Experiments on standard video benchmarks such as UCF101, HMDB51, and Kinetics 600 show state of the art zero-shot performance using only inference time modifications. This work shows that combining prompt enrichment, causal and object aware reweighting, and temporal score fusion in a purely post hoc manner can substantially strengthen zero-shot action recognition without changing the underlying backbone.
Benzer Tezler
- Evaluating zero-shot learning capabilities of vision-language models
Görme-dil modellerinin sıfır-örnekle öğrenme yeteneklerinin değerlendirilmesi
MUSTAFA DOĞAN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ERKUT ERDEM
- Contact-VLA: Zero-shot planning and control for contact-rich manipulation
Contact-VLA: Temas-yoğun manipülasyon için sıfır örnek planlama ve kontrol
BERK ÇİÇEK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SALİH ÖZGÜR ÖĞÜZ
- Duygu analizi problemi için geleneksel ve derin transfer makine öğrenmesi yöntemlerinin karşılaştırılması
A comparison of traditional and deep transfer machine learning methods for the sentiment analysis problem
NURAY YILDIZLI
Yüksek Lisans
Türkçe
2021
Mühendislik BilimleriAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜLŞAH TÜMÜKLÜ ÖZYER
- HUMAN-CENTERED PROCEDURAL KNOWLEDGE LEARNING FROM INSTRUCTIONAL VIDEOS
ÖĞRETİCİ VİDEOLARDAN İNSAN MERKEZLİ PROSEDÜREL BİLGİ ÖĞRENİMİ
MUHAMMET FURKAN İLASLAN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNatıonal Unıversıty Of Sıngapore (nus)Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MİKE ZHENG SHOU
DR. QİANLİ XU