Addressing the data diversity gap with uniquely generated synthetic videos for real-world human action recognition
Gerçek dünya insan eylemi tanıma için benzersiz şekilde üretilmiş sentetik videolarla veri çeşitliliği açığının ele alınması
- Tez No: 840854
- Danışmanlar: DOÇ. DR. TUNCA DOĞAN, DOÇ. DR. UFUK ÇELİKCAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Sayısal görüntü işleme, Digital image processing
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Makine öğrenimi kullanılarak insan hareketlerinin tanınmasında gürbüz modeller geliştirmek için yüksek miktarda veriye ihtiyaç duyulmaktadır. Ancak, bu tür gerçek dünya verilerini elde etmek zorlu bir süreçtir çünkü maliyetli ve zaman alıcıdır. Ayrıca, mevcut veri setleri çoğunlukla dış mekanlarda poz verisi yakalama sorunları nedeniyle kapalı alan videolarını içerir. Bu zorlukların üstesinden gelmek için sentetik veriler kullanılmıştır, ancak mevcut sentetik veriler hem fotogerçekçilikten hem de öznitelik çeşitliliğinden yoksundur. Bu makalede, hareket tanıma performansını artırmak için çeşitli bakış açılarından yakalanan fotogerçekçi sentetik insan hareket dizileri üreten NOVAction motorunu sunuyoruz. NOVAction'ı, 25415 insan hareket dizisinden oluşan NOVAction23 veri setini üretmek için kullanıyoruz (NOVAction23 \url{https://graphics.cs.hacettepe.edu.tr/NOVAction} adresinde mevcuttur). NOVAction23'te, gerçekleştirilen hareketler ve bakış açıları prosedürel üretim yoluyla üretim aşamasında değiştirilir, böylece belirli bir animasyon sınıfı için her üretilen görüntü dizisi 1105 sentetik insandan biri tarafından benzersiz bir bakış açısından yakalanan benzersiz bir hareket özniteliğine sahiptir. NOVAction23 ve NTU 120 veri setlerini üç son teknoloji tanıyıcıyı eğiterek değerlendirilmiştir ve model YouTube'dan elde edilmiş gerçek dünya videoları aracılığıyla doğrulanmıştır. Bulgular, NOVAction23 veri setinin insan son teknoloji insan hareket tanıma performansını artırabileceğini göstermektedir.
Özet (Çeviri)
Recognition of human actions using machine learning requires substantial datasets to develop robust models. However, obtaining such real-world data is challenging because it is a costly and time-consuming process. In addition, existing datasets mostly contain indoor videos due to the issues in capturing pose data outdoors. Synthetic data have been employed to overcome these difficulties, yet the currently available synthetic data lack both photorealism and diversity in their features. In this paper, we present the NOVAction engine for generating photorealistic synthetic human action sequences captured from diverse viewpoints to improve action recognition performance. We use NOVAction to create the NOVAction23 dataset comprising 25,415 human action sequences (available at \url{https://graphics.cs.hacettepe.edu.tr/NOVAction}). In NOVAction23, the performed motions and the viewpoints are varied on the fly through procedural generation, so that, for a given animation class, each generated sequence features a unique motion acted by one of the 1,105 synthetic humans captured from a unique viewpoint. We evaluate NOVAction23 by training three state-of-the-art recognizers on it, in addition to the NTU 120 dataset. Our results are further validated through real-world videos from YouTube. The findings confirm that the NOVAction23 dataset can enhance the performance of state-of-the-art video classification for human action recognition.
Benzer Tezler
- Türkiye'de kurulu güç dağılımı dengelemesiyle rüzgardan enerji üretiminin üniformlaştırılması
Uniformizing energy production from wind through installed capacity balancing in Turkey
CANSU ŞİMAL BAĞLI
Yüksek Lisans
Türkçe
2026
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilimi ve Teknolojileri Ana Bilim Dalı
DOÇ. DR. BURAK BARUTÇU
- Towards a model for analyzing the cognitive gap in user-product interaction throughout the technological evolution
Kullanıcı-ürün etkileşiminde bilişsel boşluk: Teknolojik evrim açısından bir analiz modeli
BEYZA DOĞAN
Doktora
İngilizce
2024
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstriyel Tasarım Ana Bilim Dalı
PROF. DR. HATİCE HÜMANUR BAĞLI
- Politika duyarlı text-to-SQL ajanının postgresql satır düzeyi güvenlik (RLS) ile uygulamalı değerlendirilmesi
Applied evaluation of the policy-sensitive text-to-SQL agent with postgresql row level security (RLS)
ALI ATIA ALI KOUNDI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL HAKKI CEDİMOĞLU
- From theory to metrics: a spatial evaluation of the 15-minute city concept using geomarketing and geographic information systems (GIS) in Ankara
Teoriden metriğe: Ankara'da 15 dakikalık şehir kavramının geomarketıng ve coğrafi bilgi sistemleri (CBS) ile mekânsal değerlendirmesi
SAYGIN SEVEN
Yüksek Lisans
İngilizce
2025
Şehircilik ve Bölge PlanlamaOrta Doğu Teknik ÜniversitesiJeodezi ve Coğrafi Bilgi Teknolojileri Ana Bilim Dalı
PROF. DR. ZÜBEYDE MÜGE AKKAR ERCAN
- Exploring the biodiversity patterns of Anatolia under changing climatic conditions
Değişen iklimsel koşullar altında Anadolu'nun biyoçeşitlilik örüntülerinin araştırılması
BATUHAN ATIF TUNÇ
Yüksek Lisans
İngilizce
2025
Biyolojiİstanbul Teknik Üniversitesiİklim ve Deniz Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRAH ÇORAMAN