Addressing the data diversity gap with uniquely generated synthetic videos for real-world human action recognition
Gerçek dünya insan eylemi tanıma için benzersiz şekilde üretilmiş sentetik videolarla veri çeşitliliği açığının ele alınması
- Tez No: 840854
- Danışmanlar: DOÇ. DR. TUNCA DOĞAN, DOÇ. DR. UFUK ÇELİKCAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 41
Özet
Makine öğrenimi kullanılarak insan hareketlerinin tanınmasında gürbüz modeller geliştirmek için yüksek miktarda veriye ihtiyaç duyulmaktadır. Ancak, bu tür gerçek dünya verilerini elde etmek zorlu bir süreçtir çünkü maliyetli ve zaman alıcıdır. Ayrıca, mevcut veri setleri çoğunlukla dış mekanlarda poz verisi yakalama sorunları nedeniyle kapalı alan videolarını içerir. Bu zorlukların üstesinden gelmek için sentetik veriler kullanılmıştır, ancak mevcut sentetik veriler hem fotogerçekçilikten hem de öznitelik çeşitliliğinden yoksundur. Bu makalede, hareket tanıma performansını artırmak için çeşitli bakış açılarından yakalanan fotogerçekçi sentetik insan hareket dizileri üreten NOVAction motorunu sunuyoruz. NOVAction'ı, 25415 insan hareket dizisinden oluşan NOVAction23 veri setini üretmek için kullanıyoruz (NOVAction23 \url{https://graphics.cs.hacettepe.edu.tr/NOVAction} adresinde mevcuttur). NOVAction23'te, gerçekleştirilen hareketler ve bakış açıları prosedürel üretim yoluyla üretim aşamasında değiştirilir, böylece belirli bir animasyon sınıfı için her üretilen görüntü dizisi 1105 sentetik insandan biri tarafından benzersiz bir bakış açısından yakalanan benzersiz bir hareket özniteliğine sahiptir. NOVAction23 ve NTU 120 veri setlerini üç son teknoloji tanıyıcıyı eğiterek değerlendirilmiştir ve model YouTube'dan elde edilmiş gerçek dünya videoları aracılığıyla doğrulanmıştır. Bulgular, NOVAction23 veri setinin insan son teknoloji insan hareket tanıma performansını artırabileceğini göstermektedir.
Özet (Çeviri)
Recognition of human actions using machine learning requires substantial datasets to develop robust models. However, obtaining such real-world data is challenging because it is a costly and time-consuming process. In addition, existing datasets mostly contain indoor videos due to the issues in capturing pose data outdoors. Synthetic data have been employed to overcome these difficulties, yet the currently available synthetic data lack both photorealism and diversity in their features. In this paper, we present the NOVAction engine for generating photorealistic synthetic human action sequences captured from diverse viewpoints to improve action recognition performance. We use NOVAction to create the NOVAction23 dataset comprising 25,415 human action sequences (available at \url{https://graphics.cs.hacettepe.edu.tr/NOVAction}). In NOVAction23, the performed motions and the viewpoints are varied on the fly through procedural generation, so that, for a given animation class, each generated sequence features a unique motion acted by one of the 1,105 synthetic humans captured from a unique viewpoint. We evaluate NOVAction23 by training three state-of-the-art recognizers on it, in addition to the NTU 120 dataset. Our results are further validated through real-world videos from YouTube. The findings confirm that the NOVAction23 dataset can enhance the performance of state-of-the-art video classification for human action recognition.
Benzer Tezler
- Towards a model for analyzing the cognitive gap in user-product interaction throughout the technological evolution
Kullanıcı-ürün etkileşiminde bilişsel boşluk: Teknolojik evrim açısından bir analiz modeli
BEYZA DOĞAN
Doktora
İngilizce
2024
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstriyel Tasarım Ana Bilim Dalı
PROF. DR. HATİCE HÜMANUR BAĞLI
- A new approach to corporate social responsibility: Corporate digital responsibility, analysis of Turkish banking and e-commerce sectors
Kurumsal sosyal sorumluluğa yeni bir yaklaşım: Kurumsal dijital sorumluluk, Türk bankacılık ve e-ticaret sektörlerinin analizi
CEYDA CİHAN AYDOĞDU
Doktora
İngilizce
2024
BankacılıkGalatasaray ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. BANU MÜJDE BASKAN KARSAK
- Mimarlığın teknolojik evrimi
Technological evolution of architecture
ERDEM DOKUZER
Yüksek Lisans
Türkçe
2018
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. PELİN DURSUN ÇEBİ
- L'impact du travail à distance sur les femmes employées en col blanc: Une analyse dans le cadre de la société du risque
Uzaktan çalışmanın beyaz yakalı kadın çalışanlar üzerindeki etkisi: Risk toplumu bağlamında bir analiz
FATMA SELİN BEKAR
Yüksek Lisans
Fransızca
2024
SosyolojiGalatasaray ÜniversitesiSosyoloji Ana Bilim Dalı
DOÇ. DR. FEYZA AK AKYOL
- Risk algısı ve demografik özelliklerin yatırımcı davranışlarına etkisi üzerine ampirik bir çalışma
Impact of risk perception and demographic factors on individual investors' behavior: An empirical analysis
FATİH SAĞLIK