Enhancing lightweight models for efficient sensor-based human activity recognition
Verimli sensör tabanlı insan aktivitesi tanıma için hafif modellerin iyileştirilmesi
- Tez No: 910837
- Danışmanlar: DR. ÖĞR. ÜYESİ BERK GÖKBERK, DOÇ. DR. ÖZLEM DURMAZ İNCEL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 151
Özet
This thesis presents a comprehensive study on enhancing the performance of lightweight models for efficient sensor-based Human Activity Recognition (HAR) on resource-constrained devices, particularly in memory-constrained environments such as wearables with microcontrollers. By integrating convolutional block attention modules into the lightweight versions of the DeepConvLSTM model, originally proposed for sensor-based HAR, and the highly efficient SqueezeNet architecture, the study aims to boost recognition accuracy without increasing computational demands. The thesis examines the impact of channel and spatial attention mechanisms across various model sizes. Results demonstrate that attention-enhanced lightweight models can achieve performance levels comparable to larger, more resource-intensive models while maintaining minimal resource usage. Subsequently, combinations of knowledge distillation and attention mechanisms were applied to further improve model efficiency. It was found that attention-based distillation could significantly enhance the accuracy of lightweight models even in the absence of attention modules in the teacher model. The effectiveness of the developed models was then compared with model compression techniques such as quantization and pruning. Furthermore, this thesis provides the most comprehensive study to date on sensor-based HAR in resource-constrained environments, offering insights and strategies for the practical application of efficient and high-performance sensor-based HAR systems, thereby addressing a significant gap in the field.
Özet (Çeviri)
Bu tez, özellikle mikrodenetleyicilere sahip giyilebilir cihazlar gibi bellek ve diğer kaynakların sınırlı olduğu ortamlarda, sensör tabanlı İnsan Aktivitesi Tanıma (İAT) için verimli ve hafif modeller geliştirmeye yönelik kapsamlı bir çalışma sunmaktadır. Sensör tabanlı İAT için önerilmiş olan DeepConvLSTM modelinin ve yüksek verimli SqueezeNet mimarisinin hafif versiyonlarına konvolüsyonel blok dikkat modülleri entegre edilerek, hesaplama gereksinimleri artırılmadan tanıma doğruluğunu artırma hedeflenmektedir. Çalışma, kanal ve mekansal dikkat mekanizmalarının farklı model büyüklüklerindeki etkilerini incelemektedir. Sonuçlar, dikkat mekanizmalı hafif modellerin, daha büyük ve daha fazla kaynak gerektiren modellerle karşılaştırılabilir performans seviyelerine minimum kaynak kullanımıyla ulaşabileceğini göstermektedir. Sonrasında, modelin verimliliğini daha da artırmak amacıyla bilgi damıtma ve dikkat mekanizmalarının çeşitli birleşimleri kullanılmıştır. Dikkat tabanlı damıtmanın, öğretici modelde dikkat modülleri bulunmasa bile hafif modellerin doğruluğunu önemli ölçüde artırabileceği gösterilmektedir. Daha sonra, geliştirilmiş modellerin etkinliği, budama ve sayısallaştırma gibi model sıkıştırma teknikleriyle karşılaştırılmıştır. Ayrıca, bu tez, kaynak sınırlı ortamlarda sensör tabanlı İAT konusunda bugüne kadar yapılmış en kapsamlı çalışmayı sunarak, verimli ve yüksek performanslı sensör tabanlı İAT sistemlerinin pratik uygulaması için içgörüler ve stratejiler sunarak alandaki önemli bir boşluğu doldurmaktadır.
Benzer Tezler
- Altitude dependent thermal model and analysis of an outrunner rotor permanent magnet synchronous motor for unmanned air-vehicle applications
İnsansız hava aracı uygulamaları için dış rotorlu kalıcı mıknatıslı senkron motorun irtifaya bağlı termal modeli ve analizi
YUNUS EMRE CİNAL
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. DERYA AHMET KOCABAŞ
- Uzaktan algılama ve derin öğrenme yöntemleri ile İstanbul'un yerel iklim alanları ve yer yüzeyi sıcaklığı değişimleri arasındaki ilişkinin incelenmesi
Investigation of the relationship between local climate zones and land surface temperature changes in İstanbul using remote sensing and deep learning methods
MELİKE NİCANCI SİNANOĞLU
Yüksek Lisans
Türkçe
2024
Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ŞİNASİ KAYA
- Enhancing UML ports and connectors to increase the reusability and performance of avionics software
Aviyonik yazılım performansını ve tekrar kullanılabilirliğini artırmak için UML kapı ve bağlayıcılarını iyileştirme yöntemleri
ALPER TOLGA KOCATAŞ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ HİKMET DOĞRU
- Takviyeli panel yapıların burkulma ve burkulma sonrası davranışının yapay sinir ağları ile optimizasyonu
Optimization of buckling and post-buckling behavior of reinforced panel structures using artificial neural networks
ERTUĞRUL ÇAKIR
Yüksek Lisans
Türkçe
2024
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. ZAHİT MECİTOĞLU
- Soğuk şekillendirilmiş kirişlerin gövdesinde açılmış dairesel deliklerin eğilme davranışının etkisi: Sonlu eleman analizleri
Effect of flexural behavior of circular holes opened in the body of cold-formed beams: Finite element analyzes
EKİN ABANOZ
Yüksek Lisans
Türkçe
2024
İnşaat MühendisliğiSakarya Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEYNEP YAMAN
DOÇ. DR. MAHYAR MAALI