Wearables-based user identity recognition through image representation of motion sensor data sequences and pretrained vision models
Hareket sensörü veri dizilerinin görüntü temsilleri ve önceden eğitilmiş görme modelleri ile giyilebilir cihaz tabanlı kullanıcı kimlik tanıma
- Tez No: 971474
- Danışmanlar: PROF. BİLLUR BARSHAN ÖZAKTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mühendislik Bilimleri Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Kullanıcı kimliği tanıma ve doğrulama süreçlerinde yaygın olarak kullanılan yöntemler, siber saldırılara karşı sıklıkla savunmasız kalmakta ve bu süreçler daha sağlam çözümler gerektirmektedir. Bu bağlamda, hareket sensörü verileri ve biyometrik veriler alternatif çözümler olarak kullanılmakta ve bu durum insan hareketi tanıma görevini gündeme getirmektedir. Bu görev, genellikle evrişimli sinir ağları, uzun kısa süreli bellek ve söz konusu iki tip modelin birleştirilmesiyle oluşturulan hibrit (melez) modelleri kullanılarak gerçekleştirilmektedir. Bu çalışmada, sensör verilerinin görüntü temsillerini sınıflandırarak kullanıcı kimliği tanıma görevini gerçekleştirmeyi amaçlayan, önceden eğitilmiş evrişimli sinir ağları ve dönüştürücü tabanlı modelleri kullanan bir yöntem önerilmiştir. Zaman serisi ham verilerinden oluşan dört farklı aktivite veri kümesi kullanılarak önceden eğitilmiş çeşitli ağların görüntü sınıflandırma görevindeki başarımları değerlendirilmiş ve karşılaştırmalı bir çalışma gerçekleştirilmiştir. Ayrıca, DeiT-B ve DenseNet201 mimarilerini birleştiren yeni bir hibrit mimari geliştirilmiştir. Bunlara ek olarak, bu çalışma spektrogram ve dalgacık spektrogram olmak üzere iki farklı önişleme yöntemini karşılaştırmakta ve bu yöntemlerden yapısal olarak farklı olan özgün bir yaklaşım sunmaktadır. Söz konusu yöntem, ham veri, spektrogram ve wavelet spektrogram bilgilerini birleştiren bir füzyon (tümleşim) tekniği olarak öne çıkmaktadır. DeiT-B modeli, DSA veri kümesinde %99.76 doğruluk elde etse de, DeiT-B ve DenseNet201 tabanlı hibrit mimarimiz daha yüksek performans (başarım) göstermiştir.
Özet (Çeviri)
The common methods employed in User Identity Recognition (UIR) and verification are often vulnerable to cyber attacks, requiring more robust solutions. Motion sensor data and biometric data are used in tackling both the UIR and Human Activity Recognition (HAR) tasks. These tasks are mostly accomplished by using Convolutional Neural Networks (CNNs), Long Short-Term Memory (LSTM), and CNN-LSTM hybrid models. We propose a method that employs pretrained CNN and vision transformer-based models to achieve the UIR task by classifying image representations of sensor data. We conduct a comparative study by evaluating the performance of various pretrained networks in the image classification task by processing four activity datasets comprising raw data sequences. We construct a new hybrid architecture which combines DeiT-B and DenseNet201 models in a parallel configuration. This study also compares two kinds of preprocessing methods which are spectrogram and wavelet spectrogram and introduces a novel approach that is fundamentally distinct from these methods. This technique fuses raw data, spectrogram, and wavelet spectrogram information. The DeiT-B model obtains the highest accuracy as 99.76% on the DSA Dataset; however, our new hybrid architecture that combines DeiT-B and DenseNet201 performs superior.
Benzer Tezler
- Hand gesture recognition from sEMG signals based on similarity learning
Benzerlik öğrenmesine dayalı sEMG sinyallerinden el hareketlerinin tanınması
SEMİH ÇELİK
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Gesture recognition and customization on textile-based pressure sensor array
Tekstil tabanlı basınç sensörü dizisinde hareket algılama ve kişiselleştirme
İLKNUR ÇELİK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- Akıllı saat ve istatistiksel veri madenciliği ile uyku analizi
Sleep analysis with smart watch and statistical data mining
İSMAİL FATİH AKBUĞA
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TALHA ENES GÜMÜŞ
- Side-channel attacks on IoT data and countermeasures
IoT verileri üzerine yan kanal saldırıları ve savunma mekanızmaları
SEYEDPAYAM SEYEDKAZEMI
Doktora
İngilizce
2025
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
Prof. Dr. YÜCEL SAYGIN
Assist. Prof. Dr. MEHMET EMRE GÜRSOY
- Face touch detection based on hand gesture recognition using wearable motion sensors and deep learning
Giyilebilir hareket sensörleri ve derin öğrenme kullanarak elin hareketlerini tanımaya dayalı yüze dokunma tespiti
ABDULLAH ALESMAEIL
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EFTAL ŞEHİRLİ