Geri Dön

Sensor-based activity recognition and authentication using deep learning

Derin öğrenme yöntemleri ile sensör tabanlı sistemlerde aktivite ve kimlik tanıma

PDF İndir

  1. Tez No: 558859
  2. Yazar: NİLAY TÜFEK
  3. Danışmanlar: PROF. DR. ZEHRA ÇATALTEPE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 80

Özet

Nesnelerin interneti, Endüstri 4.0, makine öğrenmesi gibi kavram ve teknolojilerin günümüz dünyasında hızla artması hem eskiden var olan sistemlerin evirilmesine hem de yeni yaklaşımların çıkmasına yol açmıştır. Bu gelişime paralel olarak hem kablosuz haberleşme hem de sensör teknolojilerinin gelişmesi ile veri toplama miktarı da çeşitliliği de artmıştır. Artık uç cihazların endüstriden günlük hayata kadar her alanda yer bulması buralardan gelen verilerin toplanmasını olanaklı kılarken, analizlerini de kaçınılmaz kılmıştır. Bu cihazlar mobil telefonlardan akıllı saatlere kadar hayatımızın içine girmiştir. Özellikle işlemci hızlarının artması toplanan verinin artmasını sağlamış, artan büyük veri ise makine öğrenme teknolojisini derin öğrenmeye doğru evirmiştir. Yüksek doğruluk ile sonuçlanan derin öğrenme macerası her ne kadar bilgisayarla görü üzerinde başlasa da diğer birçok yapay zekâ alanı için yeni bir yol açmıştır. Bu üçgende gittikçe popülerleşen diğer bir konu ise dijitalleşmedir. Dijitalleşme 21. yüzyılın ilk yarısına kadar sigorta şirketlerinden rüzgâr tribünlerine, hukuktan sağlık sektörüne kadar birçok alanda oldukça yol kat etti. Dijitalleşme genel anlamda fiziksel olarak var olan bir olgunun dijital ortamda bir eşinin bulunması ve kullanılması durumudur. Dijitalleşme denildiğinde akla ilk gelen, fiziksel dokümantasyon yerine her şeyin bilgisayarlar, telefonlar ya da çeşitli başka dijital cihazlar üzerinden yapılmasıdır. Tüm form doldurma, randevu alma, para gönderme gibi işlemler internet ve cihazlar üzerinden kolayca yapılabilmektedir. Fakat bunun bir ilerisinde fabrikadaki cihazların karar mekanizmasından insan sağlığının fiziksel takibine kadar birçok alanda ilerlemesi de öngörülmektedir. Hem profesyonel iş hayatı hem de akademi bu konuda insanlığın işini kolaylaştıracak yöntemler ve teknolojiler geliştirmeye çalışmaktadırlar. Kümülatif ilerleyen bu süreçte hem yatay olarak disiplinler arası çalışmalar hem de dikey olarak ilerleyen derin çalışmalar ile anlamlı hale gelmektedir. Bu tez, konusu ve teknolojisi itibariyle hem nesnelerin interneti hem uç teknolojileri hem de dijitalizasyona dokunan ve akademik olarak derin öğrenme yöntemleri üzerine bir analiz yapmayı amaçlayan bir çalışmanın ürünüdür. Çalışma, en temel anlamda, zaman serisi tabanlı sensör verilerinin kişilerin fiziksel aktivitelerine göre anlamlandırılması üzerinedir. Burada sensör olarak ivmeölçer ve jiroskop temel alınarak bunların zamana bağlı değişimlerinin yorumlanması esasına dayanır. Elde edilen veriler, insan aktivitesini tanımak ve dahası kişinin kimliğinin tespit etmek için kullanılmaktadır. Çalışma kapsamında iki ana konu ele alınmıştır: kimlik tespiti ve davranış tanıma. Kimlik tespiti problemi kişilerin kim olduğunu kanıtlama amacına yönelik çeşitli yöntem ve tanımları kapsamaktadır. Bu minvalde, ıslak imzadan retina tanıma ve parmak izi gibi çeşitli seviyelerde tanıma yapmak mümkündür. Diğer bir konu ise kişinin aktivitesinin tespitidir. Bu da benzer bir şekilde yapılan hareketlerin sensörler aracılığı ile toplanması ve tespit edilmesine dayanır. Bu çalışma kapsamında kimlik tespiti akıllı saatler kullanılarak gerçeklenmiştir. Şöyle ki; gelişen teknoloji ile bağlantılı olarak, bankalar arasındaki rekabet internet platformunda fazlasıyla artmaktadır. Hemen hemen bütün bankalar kendi yazılım ekibini kurmuş ve piyasada kendine en üst basamaklardan yer edinebilmek için, müşterisine sadece bir tıklama ile herhangi bir banka işlemini gerçekleştirebilmek gibi kolaylık sağlayan birçok mobil ve web uygulamasını yayınlamaktadırlar. Ancak internet, avantajları ile birlikte birçok güvenlik tehlikesini de beraberinde getirmektedir. Bu güvenlik risklerinden kaçınmak ve önemli müşteri verilerini korumak için bankaların yazılım ekiplerinin riskleri azaltmak adına daha güvenli bir giriş süreci oluşturması gerekir. İnternette, bir kişinin hırsızlık gibi kötü bir sebepten ötürü farklı bir kimliğe bürünmesi oldukça kolay bir şeydir, çünkü bir başkasının e-posta adresini veya şifresini tahmin ederek, bir sisteme giriş yapmak hiç de imkânsız değildir. Akıllı saat kullanarak bir banka müşterisinin kimliğinin doğrulanması kullanıcının neyi bildiğine ve neye sahip olduğunu saptamaya dayalı bir yöntem olduğu için tercih edilen bir mekanizmadır. Bu yöntem, gözbebeği veya parmak izi tanıma gibi müdahaleci bir yöntem değildir ve bu nedenle daha fazla kullanıcı kabulüne sahiptir. Öte yandan parolalar veya bir kerelik parolalar gibi diğer kimlik doğrulama mekanizmalarıyla karşılaştırıldığında, kötü niyetli saldırılara karşı daha doğru sonuçlar verirler ve bu ataklara karşı daha az eğilimlidirler. Bankaların akıllı saatler kullanarak kimlik tespiti üzerine talepleri doğrultusunda başlanan çalışmanın bu ayağı, gerçek bir probleme uçtan-uca çözüm bulmak üzerine yapılmıştır. Öncelikle sistemin amacı kullanım alanları tespit edilmiş ve bunun sistem girişi ve dahası devamlılık sağlaması gereken durumlarda pratik kimlik tespiti için yapılmasına karar verilmiştir. Böylece kullanıcının belirli bir hareketinden sisteme giren kişi olduğu anlaşılması kâfidir. Bu nedenle verinin toplanması deney düzeneğinin hazırlanması, mobil uygulama programlarının yazılması, veri tabanı düzeni ve nihayetinde toplanan verinin son teknolojik derin öğrenme yöntemleri ile denenmesi ve birçok açıdan kıyaslanması yer almaktadır. Sadece sistemin oluşturulması tek bir hareket tespiti ile kalmamış olup daha önce literatürde bulunmayan bilek hareketi ile kimlik tespiti konusunda da çalışma yapılmıştır. Buna dair bir veri kümesi şu şekilde oluşturulmuştur: öncelikle sabit bir kelime belirlenerek kullanıcılardan aynı kelimeyi hem sağ hem sol elleri ile yazması istenmiş ve bu işlem beşer kez tekrarlatılmıştır. 30 gönüllüden alınan bu bilgiler ile eğitim ve test kümleri belirlenmiş ve kendi içinde 98\% doğruluk sağlanmıştır. Yöntemlerin kalitesinin artması için veri çoğaltma algoritması yine özgün olarak geliştirilmiş ve doğrulukların arttığı gözlenmiştir. Tez konusu kapsamında incelenen diğer bir konu is aktivite tanımadır. Aktivite tanıma sağlık sistemlerinden oyun sistemlerine kadar birçok alanda aktif olarak kullanılmaktadır. Örneğin itfaiyeciler için yapılan bir sistemde vücutlarındaki ivmeölçer ve jiroskop yardımıyla kişinin koşma, yürüme, merdiven inme, çıkma, uzanma, düşme ve ayakta durma aktiviteleri gerçek zamanlı olarak gözlenmektedir. Ya da benzer şekilde oyun sektöründe ve 3D videolar ile eğitimlerde bu teknolojiden yararlanılmaktadır. Önü çok fazla açık olan ve nispeten küçük verilerle uğraşmasından dolayı daha hızlı ve gerçek zamanlı sistemlerin kurulmasına olanak sağlayan bu alan gelişmekte olup önemi hızla artmaktadır. Bu çalışma da göstermektedir ki; bu verilerin güncel derin öğrenme yaklaşımları ile incelenmesi başka bir boyut katmaktadır. Bu alt çalışma için incelenen veri kümesi ise herkese açık olan UCI HAR veri kümesidir. Bu veri kümesi 2012 senesinde 50 Hz'lik örnekleme frekansı ile mobil telefon üzerindeki ivmeölçer ve jiroskoptan toplanmış aktivite verileridir. Aktiviteler yürüme, durma, uzanma, oturma, merdiven inme ve merdiven çıkmadır. Bir sınıflandırma problemine işaret eden bu veri kümesi aynı derin öğrenme yöntemleri ve ağ tasarımları ile denenmiş ve kimlik tanıma çalışmasına kıyas çalışma olarak kullanılmıştır. Bu veri seti üzerinde literatürde çok çalışma olmakla birlikte LSTM ve CNN'in bu şekil ve çeşitlerinde kullanımı mevcut olmamakla birlikte veri seti dengeleme özgün algoritmamız ile iyileştirme de sağlanmıştır. Kullanılan derin öğrenme yöntemleri Evrişimsel Sinir Ağları (CNNs) ve Uzun-Kısa Dönem Hafıza (LSTM) yöntemleri temelinde çeşitli yaklaşımlar ve hibrit modeller içermektedir. Bu ağ yapıları sıfırdan oluşturulmuş ve sıfırdan eğitilmiş olup transfer öğrenme ya da ön-eğitilmiş ağ kullanılmamıştır. Mümkün olduğunca fine-tune edilmeye çalışılmış ve ona göre sonuçlar elde edilmiştir. Ek olarak, küçük boyutlu veriler oldukları için kıyas amacıyla klasik makine öğrenmesi yöntemlerinden olan Devingen Zaman Bükme (Dynamic Time Wrapping) ve k En-yakın Komşuluk (kNN) kullanılmıştır. Derin öğrenme yöntemlerinden CNN için üç farklı yaklaşım ele alınmıştır. Birincisi, verinin görüntü formatına getirildikten sonra 2-Boyutlu (2D) evrişim katmanlarına maruz bırakılarak sonuç elde edilmesidir. 2D CNN'in yanında iki farklı varyasyonu içeren 1-Boyutlu (1D CNN) evrişimsel sinir ağı da kullanılmıştır. Bunun için evrişim tek boyutta olup hem sensör boyutunda hem de zaman boyutunda denenmiştir. LSTM açısından üç farklı metot denenmiştir. 2-Katmanlı LSTM, 3-Katmanlı LSTM ve Çift-yönlü LSTM yapıları tasarlanmış ve uygulanmıştır. Tüm bu yapılar her iki ana veri kümesi için de uygulanmış olup tümünün kazananı 3 Katmanlı LSTM olmuştur. Sonuç olarak bu çalışmada sensör tabanlı aktivite ve kimlik tanıma yapılmış olup, mobil uygulamadan veri tabanı tasarımına, makine öğrenmesi yöntemlerinden derin öğrenmeye kadar birçok alana dokunulmuş. Hem yatay hem dikey çalışmalar yapılmış ve özgün algoritmalar ile de literatüre katkı sağlanmaya çalışılmıştır.

Özet (Çeviri)

The rapid growth of concepts and technologies such as the Internet of Things, Industry 4.0, and machine learning in today's world has led to the evolution of existing systems and the emergence of new approaches. In parallel to this development, both the wireless communication and the development of sensor technologies have increased the diversity of data collection. As a result, it is now possible to collect a tremendous amount of data coming from both industrial applications and daily devices which give rise to the importance of data analysis. The increasing intention for applying available data analytics methods to this great amount of data has played a key role in the rapid development of machine learning. These developments of machine learning and especially deep learning methods are applied to many applications areas of artificial intelligence, starting with computer vision. In the scope of this thesis, authentication and activity recognition topics are covered. The problems related to authentication involves a variety of methods and definitions to aim confirmation of the identity of a person. Moreover, activity recognition covers the determination of movement of a person through sensors. In the bright of evolving technologies, competition between private organizations is increased as well. For example, private banks established internal software teams to provide the best customer experience through mobile and web applications. However, extensive usage of these applications also leads to another problem: the security and protection of login data. On the current internet domain, it is not very hard to obtain personal login information such as e-mail and password by various methods, e.g., phishing attacks, a man in the middle attack. As a result, other means of authentication mechanisms are needed by both companies and individuals. In the first part of this study, an authentication mechanism based on smartwatches is examined upon the demands of a private bank. One of the main advantages of this authentication mechanism is an increase in accuracy compared to methods regarding passwords or one-time passwords. In addition to that, it is not an intrusive method such as pupil or fingerprint recognition and therefore, has more user acceptance. For the practical part of the authentication mechanism, the different deep learning approaches based on Convolutional Neural Networks(CNN) and Long-Short Term Memory (LSTM) methods are used. The network structures of these deep learning methods were created and trained from scratch. Furthermore, they were fine-tuned as much as possible. In addition to that, Dynamic Time Wrapping and k Nearest Neighborhood (kNN) methods were also implemented for small benchmarking. For the implementation of CNN, three different approaches are covered. Firstly, the data is converted into the image format; then it is exposed to 2-D convolution layers. Moreover, a 1-D Convolutional Neural Network with two different variations are used. Convolution is used in only one dimension, and it has been tried both in sensor and time directions. In terms of LSTM, three different configurations; 2-Layer, 3-Layer, and Bi-directional are discussed as well. In the second part, activity recognition based on sensors is considered. Activity recognition is actively used in many application areas; from health care systems to gaming systems. For instance, it is possible to observe activities like climbing, to run, walking, etc. from a system that is developed for firefighters in real-time with the help of accelerometer and gyroscope. Besides, it is possible to use the same technology in the game industry as well. The importance of this area increasing rapidly due to the utilization of faster real-time systems by using relatively smaller data points. In this study, the examination of that activity data is done by deep learning methods. The examined data set, UCI HAR, which is publicly available is collected from the accelerometer and gyroscope of mobile phone with a sampling frequency of 50 Hz. Activities like walking, standing, reaching, sitting, and stair climbing are included in the dataset, which points to the classification problem. The same network configurations used in the previous part are also applied to this problem. Although there have been many proposed methods in the literature for this data set, LSTM and CNN have not been particularly investigated. As a result, sensor-based activity recognition and authentication have been realized in this project. While the aim is different, these sub-tasks are in the scope of classification problems. So, it is shown that several deep learning methods are used and each of them has different performances. However, for each of these datasets, 3-Layer LSTM gives the best accuracy scores (98\%). Moreover, while activity recognition dataset is one of the public datasets, authentication dataset is designed and created by us. Finally, with this dataset, the data augmentation algorithm that is developed has been contributed to the literature as well. After using the original data augmentation algorithm, for each sub-datasets, the evaluations scores increased as well.

Benzer Tezler

  1. Tez No

    591851

    Mobile device identification via sensor fingerprinting based on user behavior analysis

    Kullanıcı alışkanlıklarına dayalı sensör tabanlı parmak izi sistemi ile akıllı cihaz tanıma

    KADRİYE DOĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZLEM DURMAZ İNCEL

  2. Tez No

    667902

    Human activity recognition using deep convolutional neural network

    Derin öğrenme yöntemleri kullanılarak insan aktivitesi tanıma

    ELİF KEVSER TOPUZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAdana Alparslan Türkeş Bilim Ve Teknoloji Üniversitesi

    Siber Güvenlik Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YASİN KAYA

  3. Tez No

    843663

    Derin öğrenme ile giyilebilir sensör tabanlı insan aktivitesi ve demografik grup tanıma

    Wearable sensor-based human activity and demographic group recognition with deep learning

    MEHMET ÇAĞDAŞ SAYGILI

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA SERT

  4. Tez No

    842028

    Human activity monitoring and recognition with multiple wearable sensors

    İnsan aktivitesinin çoklu giyilebilir sensörlerle izlenmesi ve tanınması

    BERKAN BOSTAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiDokuz Eylül Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YAVUZ ŞENOL

  5. Tez No

    881600

    Fedopenhar: Federated multi-task transfer learning for sensor-based human activity recognition

    Fedopenhar: Sensör-tabanlı insan aktivitesi tanımlama için federe çok-hedefli öğrenme aktarımı

    EGEMEN İŞGÜDER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. BAHRİ ATAY ÖZGÖVDE

Geri Dön