A method for group activity recognition in volleyball videos with extensions to domain generalization
Alan genelleştirme uzantılarıyla voleybol videolarında grup aktivite tanıma için bir yöntem
- Tez No: 822382
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN ÖZKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Makine Eğitimi Bilim Dalı
- Sayfa Sayısı: 69
Özet
Bu tezde, DECOMPL ve ADRMX adında sırasıyla grup etkinlik tanıma ve alan genelleme problemlerini ele alan iki yaklaşım sunuyoruz. Başlangıçta temel odak noktamız voleybol videolarında grup etkinliklerinin tanınması üzerineydi. Önceki çalışmaların, videoların zamansal özelliklerinden ek hesaplama maliyetlerini tazmin edecek kadar büyük performans iyileştirmelerini gösteremediğini savunuyoruz. Videodaki kare sayısıyla doğru orantılı olan ek hesaplama maliyetini performansta önemli ölçüde bir düşüş görmeden gidermek için önerdiğimiz DECOMPL, tek bir karedeki görsel ve koordinat özelliklerini kullanarak sınıflandırma yapıyor. Voleybol videolarında grup etkinliği tanıma problemi için, bazı probleme özgü katkılar sunuyoruz. Bunlar, etkinliklerin simetrisini kullanmak için yatay döndürmelerden yararlanma, etiketleri ayrıştırarak problemi alt-problemlere bölme, ve takım özelliklerini elde etmek için buluşsal bir yöntemle karedeki insanları takımlara atama gibi unsurları içeriyor. Ayrıca, literatürde yaygın olarak kullanılan Voleybol veri kümesini incelerken kullanılan etiketleme yönteminin örneklerdeki grup kavramını azalttığını ve onları bireysel oyuncuların hareketleri seviyesine indirgediğini fark ettik. Bu sorunu ele almak için, veri kümesini grup kavramını vurgulayarak yeniden etiketledik. DECOMPL, Volleyball ve Collective Activity veri kümeleri üzerinde dikkate değer bir performans sergileyerek, grup etkinlik tanıma konusundaki başarısını göstermektedir. Yaklaşımımız, zamansal yöntemlerle aynı seviyede olup bu alandaki potansiyelini vurgulamaktadır. Videoların farklı alanlardan geldiğini gözlemlediğimiz için, grup etkinlik tanıma probleminin yanısıra, alan genelleme problemini de çalıştık. Alan genelleme için önerdiğimiz yöntem ADRMX, alan değişken özellikleri ve alan durağan özelliklerini birleştirerek toplamsal bir ayrıştırmayla birlikte kullanmaktadır. Modelimizin dayanıklılığını artırmak için örtülü uzayda çalışan yeniden birleştirme stratejisi adlı yeni bir veri arttırma tekniği sunuyoruz. DomainBed değerlendirme testi üzerinde, ADRMX, yedi tanınmış veri kümesindeki ortalama doğruluk ölçütüne göre 14 algoritma arasında en iyi performansı sergilemektedir.
Özet (Çeviri)
In this thesis, we present two novel methods to address the challenges of group activity recognition and domain generalization: DECOMPL and ADRMX, respectively. Our primary focus is on the recognition of group activities in volleyball videos. We argue that previous temporal methods have not shown significant performance improvements that justify their additional computational cost, which scales linearly with the number of frames. To tackle this, we propose DECOMPL, a non-temporal method that leverages both visual and coordinate features from a single frame to classify the activity in a video. For the task of group activity recognition in volleyball videos, we introduce several problem-specific contributions. These include utilizing horizontal flips to exploit the symmetry of activities, decomposing labels to provide additional feedback through sub-tasks, and employing a heuristic to split team features. Furthermore, during our study of the Volleyball dataset, which is widely used in recent literature, we realized that the labeling scheme degrades the group concept, reducing them to the level of individual actions. We correct for this by providing new reannoations that emphasize the group concept. DECOMPL demonstrates remarkable performance on both the Volleyball dataset and the Collective Activity dataset, showcasing its effectiveness in group activity recognition. Our approach is on par with temporal methods, highlighting its potential in this field. In addition to group activity recognition, we also investigate the domain generalization problem, as videos often come from different domains due to variations in camera orientation and background or due to even the team side change in volleyball videos. ADRMX, our proposed method for domain generalization, incorporates domain variant features along with domain invariant ones with an additive disentanglement. To enhance the robustness of our model, we introduce a novel data augmentation technique called remix strategy, which operates on the latent space to generate synthetic instances. On the DomainBed benchmark, ADRMX achieves state-of-the-art performance among 14 algorithms, as measured by average accuracy across seven well-known datasets.
Benzer Tezler
- Deep learning architectures for collective activity recognition
Kolektif aktivite tanıma için derin öğrenme yapıları
CEMİL ZALLUHOĞLU
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Human action recognition in ambient assisted living usingcontinuous inertial data
Ortam destekli yaşam için kesintisiz atalet verisi kullanarak insan aktivitelerinin tanınması
GAMZE USLU
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYeditepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞEBNEM BAYDERE
- Detection of free-standing conversational groups with graph convolutional networks
Etkileşimli grupların çizge evrişimli sinir ağları ile tespiti
EFEHAN ATICI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
YRD. DOÇ. DR. BERK GÖKBERK
- Alt ekstremite biyomekanik sinyal analiziyle derin öğrenme tabanlı insan yürüyüşü tanıma
Human gait recognition based on deep learning using lower limb biomechanical signal analysis
HACER KUDUZ
Doktora
Türkçe
2023
Biyomühendislikİstanbul Üniversitesi-CerrahpaşaBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. FIRAT KAÇAR
- Türkiye'de kentsel sit alanı sorunları ve çözüm yolları için bir deneme/Galata örneği
A Survey on the solution of the problems in the urban şite areas in Turkey/ Galata case
YASEMİN AKSOY
Yüksek Lisans
Türkçe
1997
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
PROF. DR. GÜNDÜZ ATALIK