Hierarchical human activity recognition with fusion of audio and multiple inertial sensor modalities
Ses ve çoklu atalet sensörü modaliteleri füzyonu ile hiyerarşik insan aktivitesi tanıma
- Tez No: 716987
- Danışmanlar: PROF. DR. ADNAN YAZICI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
İnsanlar her gün çok çeşitli aktiviteler gerçekleştirirler. Bu faaliyetleri otomatik olarak ayırt edebilen sistemler, yani insan faaliyeti tanıma modelleri, özellikle son on yılda önemli ölçüde iyileşmiştir. Derin öğrenme, teknoloji hızla geliştikçe insan etkinliği tespiti sorununun üstesinden gelmede giderek daha fazla umut vaat eden sonuçlar ortaya koyuyor. Bununla birlikte, gerçek dünya durumlarında etkinlik tanımayı doğrulamak, doğal bağlamlarda çalışan pratik çözümler için kritik öneme sahiptir. İnsanların her gün doğal olarak kullandıkları cihazlar ve yaşadıkları ortam gibi gerçek hayat ayarlarıyla otomatik aktivite tanımayı gerçekleştirebilecek sistemler kurmak, çok fazla hesaplama karmaşıklığı gerektirebilir. Bu amaç için, akıllı telefonlara yerleştirildiğinde çok fazla yer kaplamadan arka planda bile hızla çalışabilen hafif bir sinir ağı modeli benimsenmiştir. Dört atalet sensör verisi, renk kodlu görüntü biçiminde temsil edilir ve tanıma görevini gerçekleştirmek için üç kanallı ses verisi görüntü temsili ile birleştirilir. Elde edilen füzyon görüntüleri, her görüntünün boyutu çok küçük olduğu için hızlı tanıma performansı sağlar. Bu tez ayrıca, kendi başlarına tanımlama için önemli ölçüde daha büyük pencere boyutları gerektiren ses sensörü verilerinin, diğer sensörlerle aynı anda etkileşim kurmak için küçük pencere boyutlarına bölündüğünde bile, eylemsiz sensörlerle birlikte kullanıldığında otomatik tanıma performansını iyileştirdiğinin altını çizer. Ek olarak, bu tez, doğru etkinlik tanıma gerçekleştirmek için etkinlikleri, bağlamları ve yerleşimleri hiyerarşik bir şekilde sunarak bilgisayarın gerçek dünya davranışlarını daha iyi ayırt etmesine yardımcı olan bir strateji sağlar. İşitsel görüntüleri eylemsiz renk kodlu görüntülerle birleştirerek, etkinlik-bağlam-yerleştirmeye göre hiyerarşik gruplarla çoklu etkinlik çiftlerini temsil ederek ve hafif bir model kullanarak, son teknoloji ile rekabet eden yüksek doğrulukta tanıma performansı puanı, yaklaşık 91\% başarı sonucu elde edilir. Herkesin her gün doğal olarak kullandığı akıllı telefon ve akıllı saat gibi cihazlardan toplanan verilerle bireyin davranışını tahmin etmek için kullanılabilecek hafif bir model sunduğu için bu araştırmanın bir“deneyim kalitesi”olarak sınıflandırılabileceğine inanıyoruz.
Özet (Çeviri)
People perform a wide variety of activities every day. Systems that can automatically distinguish these activities, i.e. human activity recognition models, have improved markedly, especially in the last decade. Deep learning is demonstrating increasingly promising outcomes in overcoming the problem of human activity detection as technology improves at a rapid pace. However, validating activity recognition in real-world situations is critical for practical solutions that work in natural contexts. Establishing systems that could achieve automatic activity recognition with real-life settings such as the devices that people use every day naturally and the environment they live in, might require lots of computational complexity. A lightweight neural network model is adopted for this purpose, one that could run swiftly even in the background process without taking up a lot of space when embedded into smartphones. Four inertial sensory data are represented in color coded image form and fused with three channelled audio data image representation to perform recognition task. The resulting fusion images allow rapid recognition performance because the size of the each image is so small. This thesis also underlines that audio sensor data, which require considerably bigger window sizes for identification on their own, improve automated recognition performance when used in conjunction with inertial sensors, even when divided into small window sizes to interact with other sensors simultaneously. In addition, this thesis provides a strategy that helps the computer better discern real-world behaviors by introducing activities, contexts, and placements in a hierarchical manner to perform accurate activity recognition. By merging auditory images with inertial color coded images, representing multiple activity pairs with hierarchical groups according to activity-context-placement, and employing a lightweight model, high accurate recognition performance score competitive to state-of-art, nearly 91\% success rate is achieved. We believe that this research could be classified as a“quality of experience”because it presents a lightweight model that could be used to predict behavior of individual by data collected from devices such as smartphone and smartwatch that everyone uses each day naturally.
Benzer Tezler
- Human activity recognition with wireless sensor networks using machine learning
Kablosuz algılayıcı ağlar ile makıne öğrenmesi kullanarak insan aktivitesi anlama
HANDE ALEMDAR
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CEM ERSOY
- Human behavior understanding using video analysis
Video analizi ile insan davranışı anlama
CELAL ONUR GÖKÇE
Doktora
İngilizce
2016
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR HALICI
- Le rapport des droits de l'homme au politique: Lefort et Rancière
İnsan haklarının politik-olan bağlantısı: Lefort ve Rancière
EYLEM YOLSAL MURTEZA
Doktora
Fransızca
2022
FelsefeGalatasaray ÜniversitesiFelsefe Ana Bilim Dalı
PROF. DR. ALİYE KARABÜK KOVANLIKAYA
- Esnek sistemler yaklaşımı
Soft systems methodology
NURAY ÖZDEMİR
Yüksek Lisans
Türkçe
1994
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. FÜSUN ÜLENGİN