Geri Dön

Gesture recognition and customization on textile-based pressure sensor array

Tekstil tabanlı basınç sensörü dizisinde hareket algılama ve kişiselleştirme

PDF İndir

  1. Tez No: 895410
  2. Yazar: İLKNUR ÇELİK
  3. Danışmanlar: DOÇ. DR. GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 88

Özet

Dokunma hissi, çevremizde olup biteni algılamamızı ve onlara yön vermemizi sağlaması sebebiyle dokunma algılama tabanlı teknolojiler, günümüz yaşamında önemli bir yere sahiptir. Bu teknolojiler, akıllı telefonlar ve tabletler gibi dokunmatik cihazlardan, yalnızca tekstillerden oluşan sensörlere kadar geniş bir yelpazeyi kapsamaktadır. Dokunma algılama sisteminin seçimi, çeşitli parametreler doğrultusunda belirlenebilir. Görsel geri bildirim gereken sistemlerde dokunmatik ekranlar tercih edilirken, yakınlık algılama gerektiren sistemlerde kapasitif sensörler, giyilebilir teknoloji alanında ise rijit yapılardan ziyade daha yumuşak, esnek ve insan vücudunun kıvrımlı yapısına uyum sağlayan, güvenlik sorunlarına neden olmayan dokunma algılama cihazları tercih edilmelidir. Tekstil bazlı hareket algılama cihazları içerisinde, basınç algılama, hareketlerin daha doğru algılanabilmesi ve cihazın hafif yapısı nedeniyle tekstil bazlı kapasitif sensör dizileri kullanılarak sağlanabilir. Algılanan kapasitans değişiklikleri ile basınç alanlarının tespit edilmesinin ardından, bu verilerin akıllı ve uygulanabilir bir öğrenme mekanizması ile anlamlandırılması gerekmektedir. Bu amaçla derin öğrenme modelleri üzerinde çalışmalar yapılmıştır. Hareket tanımlamaya yönelik çalışmalarda, Evrişimli sinir ağları (Convolutional Neural Network - CNN), Yinelemeli sinir ağı (Recurrent Neural Network - RNN), Destek vektör makineleri (Support Vector Machine - SVM), karar ağacı ve Uzun kısa süreli bellek (Long-Short Term Memory - LSTM) gibi modeller kullanılmıştır. RNN'ler sıralı zaman bazlı veriler üzerinde kaybolan gradyan nedeniyle iyi performans gösterememektedir; uzun veri dizilerinde gördükleri bilgileri erken unutma eğilimindedirler. Bu sorunu aşmak için unutma, girdi ve çıktı kapılarının kullanıldığı LSTM modeli tercih edilmiştir; bu sayede önemli eski verilerin unutulmasının önüne geçilir. Giyilebilir teknolojiler ile hareket algılama, sadece tekstil sensörleri ile sınırlı değildir; aynı zamanda entegre devrelerin ilave edildiği sensör tipleri de bulunmaktadır. İvmeölçer, jiroskop ve manyetometre gibi ticari ürünlerin entegre edildiği sistemler ile de hareket tanıma gerçekleştirilmiştir. Bu sistemler, ev otomasyonu uygulamalarında komut olarak kullanılabilecek hareket algılama verilerini sağlamak için kullanılabilir. Ayrıca, bu ticari ürünler akıllı saatlere de entegre edilebilmektedir. Elektromiyogram (EMG) sensörleri ile el ve kol hareketlerinin tanınması ve algılanması da mümkündür. Bu sistemlerde öğrenme sağlamak için çeşitli metotlar kullanılmıştır. Özellik çıkarımı için Ana Bileşen Analizi (PCA) ve Doğrusal Ayırma Analizi (LDA) gibi yöntemler kullanılmıştır. Bu yöntemler, verilerin boyutunu azaltarak daha anlamlı ve işlenebilir hale getirilmesine olanak tanır, böylece hareket tanıma sistemlerinin doğruluğunu artırır. İki iletken tabakanın arasına bir yalıtkan yerleştirilerek elde edilen kapasitans değeri, yalıtkanın dielektrik katsayısı ve iletken tabakaların alanı ile doğru orantılı, iletken tabakaların arasındaki mesafe ile ters orantılı olacak şekilde belirlenir. İTÜ Soft Sensors Laboratuvarı tarafından üretilen tekstil tabanlı kapasitif sensör de aynı çalışma prensibi ile çalışmaktadır. Bu sensörde, basınç uygulandığında iki iletken tabaka birbirine yaklaşır ve esnek yapısı sayesinde iletkenlerin alanındaki küçük artışlardan dolayı kapasitans artışı gözlemlenebilir. Sensör dizisi, 11 satır ve 2 sütundan oluşan toplamda 22 hücreye sahiptir. Arduino Mega kullanılarak 22 boyutlu kapasitans verisi okunur. Kapasitans değeri, ortam koşullarından etkilenebileceği için bir otomatik kalibrasyon sistemi sürekli olarak arka planda çalışmaktadır. Bu sayede sistemin farklı durum ve koşullarda, farklı kullanıcılar tarafından kullanılabilirliği sağlanır. Veri ölçeklendirme (scaling) ile verilerin aynı aralığa sahip olması garanti edilerek değişimler daha kolay anlaşılır hale getirilir ve son olarak veri boyutunu azaltmak amacıyla düzleştirme (flatten) işlemi yapılır. Bu şekilde işlenen veriler, modelin daha verimli çalışmasını sağlayacak hale getirilir. İşlenmiş veriler aracılığıyla kapasitans artış alanları sensör üzerinde tespit edilir. Bu basınç noktalarını anlamlandırmak için derin öğrenme modeli olan LSTM ve makine öğrenme modeli olan Saklı Markov Modeli kullanılmıştır. Derin öğrenme modeli, 64 hafıza hücreli bir LSTM katmanı ile başlar ve bu katmana hiperbolik tanjant fonksiyonu uygulanır. Ardından iki yoğun (dense) katmanı eklenir. İlk katman 256 nörona sahiptir ve ReLU aktivasyon fonksiyonu kullanır. İkinci katman ise çıktı katmanı olarak görev yapar ve sınıf sayısı kadar nörona sahiptir. Bu katmana, çıktı değerlerinin toplamının 1 olmasını sağlayan Softmax fonksiyonu uygulanır. Elde edilen model, yüksek doğruluk oranları ile hareket tahmini yapabilmektedir. Hareketlerin ezberlenmesinin zorluğu veya kullanıcıların çeşitli kısıtlamaları nedeniyle tanımlanan hareketleri yapamama durumlarında yeni hareket tanımlamaya izin vermek önemli görülmüştür. Bu amaçla, sınıf artırma modeli implemente edilmiştir. Bu çözümün dikkat edilmesi gereken iki hususu vardır: eski verilerin unutulması ve yeni verilerin algılanamaması. Mevcut modelin LSTM katmanı ve çıktı katmanında yapılan değişikliklerle modelin yapısı yeniden düzenlenmiştir. LSTM katmanındaki değişiklikler, tahminlenecek hareketin boyutunu belirleyen pencere boyutu ve çıktı katmanında sınıf sayısının değiştirilmesidir. Yeni veri eklerken, veri boyutu nedeniyle kullanışlılık ve doğruluk arasında bir ikilem oluşur. Çok sayıda veri toplamak, doğruluğu artırırken kullanışlılığı düşürür; az sayıda veri toplamak ise kullanışlılığı artırırken doğruluğu düşürür. Bu iki problemin kullanışlılık tarafını çözmek amacıyla, veri toplama süresini minimuma indirmek için katılımcılardan 20 kez yeni hareketi tekrar ederek eklemeleri istenmiştir. Doğruluğu artırmak için ise veri artırma teknikleri kullanılarak model için sağlıklı veri sağlanmıştır. Veri boyutunu artırmak amacıyla üç veri artırma tekniği kullanılmıştır. İlk olarak, yakınlaştırma fonksiyonu ile 0,9 ile 1 arasında rastgele bir sayısı yakınlaştırma faktörü olarak seçilir. Her bir veri bu faktör ile çarpılarak aynı veriyi ifade eden, ancak farklı bir veri elde edilir. İkinci olarak, ölçeklendirme fonksiyonu kullanılır. Bu fonksiyon, normal dağılımda ortalaması 1, standart sapması 0,2 olan bir ölçeklendirme faktörü elde eder. Bu faktör veri ile çarpılarak yeni veri oluşturulur. Son olarak, zaman bükülmesi süreci için bir çarpıtma faktörü oluşturmak amacıyla, ortalaması 1 ve standart sapması 0,2 olan ve [0, 2] aralığı içinde sınırlı bir normal dağılım kullanılır. Daha sonra, zaman boyutu, bu çarpıtma faktörünün doğrusal enterpolasyon kullanılarak giriş verilerine uygulanmasıyla değiştirilir. Bu teknikler, veri kümesinin boyutunu 8 katına çıkarırken, ilgili verilere benzer ve aynı şeyi ifade edebilen yeni hareketler oluşturur. Aynı zamanda, orijinal veriden farklı olmaları nedeniyle veri çeşitliliği de artar. Eski sınıfların verilerinin unutulmaması için model güncellenirken eski veriler de modele girdi olarak verilmiştir. Bu yaklaşımla, yeni hareketlerin tanımlanması süreci hızlandırılmış ve kullanıcılar için daha pratik hale getirilmiştir. Yakınlaştırma, ölçeklendirme ve zaman bükme gibi veri artırma teknikleri uygulanarak, az sayıda veriyle bile geniş bir veri seti oluşturulmuş ve modelin doğruluğu korunmuştur. Bu şekilde, hem kullanıcı dostu bir veri toplama süreci sağlanmış hem de modelin performansı optimize edilmiştir. Testler, İstanbul Teknik Üniversitesi Kullanışlılık Ölçme Laboratuvarında 20 katılımcı ile iki aşamada gerçekleştirilmiştir. İlk aşamada, mevcut modelde önceden tanımlanmış olan dört hareketi (yukarı, aşağı, uzaklaştırma (pinch) ve yakınlaştırma (zoom)) 20 kez yapmaları istenmiştir. Bu aşamada toplanan veriler, hareketlerin unutulup unutulmadığını görmek amacıyla alınmıştır. İkinci aşamada, yeni hareket eklemek amacıyla katılımcılardan yeni hareketi (yarım-yukarı hareketi) 20 kez yapmaları istenmiştir. Bu aşama, Tkinter arayüzü kullanılarak gerçekleştirilmiştir. Arayüzde hareketin isim tanımlaması yapıldıktan sonra“Yeni Hareket Ekle (Add New Gesture)”butonuna basılır. Her yeni veri satırı eklemek için arayüzde“Yeni Veri Ekle (Add New Data)”butona basılarak veri kaydetme aktif edildikten sonra hareketin yapılması katılımcıdan istenmiştir. Her hareket bittiğinde, veriyi veri satırı olarak kaydetmek için“Yeni Veriyi Bitir (End New Data)”butona basılmıştır. İstenen 20 hareket de tamamlandıktan sonra,“Hareketi Bitir (Finish Gesture)”butonuna basılmıştır. Modeller, hareketi bitiren butona basıldıktan sonra kendilerini kısa sürede güncelleyip arayüzde tahmin etme modunu aktif hale getirir. Bu süreç sayesinde, yeni hareketlerin sisteme eklenmesi ve modelin güncellenmesi hızlı ve kullanıcı dostu bir şekilde gerçekleştirilir. Tkinter GUI arayüzü, kullanıcının hareket verilerini kolayca eklemesine ve modelin anında güncellenmesine olanak tanır, böylece hem kullanıcı deneyimi iyileştirilir hem de sistemin esnekliği artırılır. Daha sonra, hem yeni hareketin tanınabilir olduğunu hem de eski hareketlerin unutulmadığını görmek amacıyla katılımcılardan önceden tanımlanmış ve yeni tanımlanmış hareketleri 10 kez gerçekleştirmeleri istenmiştir. Bu süreç, güncellenmiş modele yeni bir hareket (yarım-aşağı hareketi) eklemek amacıyla tekrarlanmış ve bu hareketin de 20 kez yapılması istenmiştir. Model güncellendikten sonra, katılımcılardan önceden tanımlanmış dört hareket ve yeni tanımlanan iki hareketi 10 kez yapmaları istenmiştir. Deney, kullanıcıların istenilen hareketleri başarıyla yapması ile tamamlanmıştır. Başarı ölçütü olarak, tüm sistemde elde edilen doğruluk değerleri ve her hareketin doğruluk oranları ayrı ayrı karşılaştırılmıştır. Tüm sistemin doğruluk oranı, deneyin ilk aşamasında önceden tanımlanmış hareket algılaması için derin öğrenmesi modeli ile %95.3, makine öğrenmesi modeli ile %91.5, bir hareket eklendikten sonra derin öğrenme modeli ile %96.3, makine öğrenmesi modeli ile %91.7 ve ikinci bir hareket eklendiğinde derin öğrenme modeli ile %94.7, makine öğrenmesi modeli ile %89.4 olarak ölçülmüştür. İleriki çalışmalarda, geliştirilen sistemden elde edilen hareketler komut olarak kullanılarak bir kontrolör olarak çalıştırılacaktır. Ayrıca, başka tekstil sensörleri ile birleştirilerek daha kapsamlı bir sistem elde edilecektir. Son olarak, bu sistem, AR ve VR alanında hareket tabanlı uygulamalara entegre edilecektir.

Özet (Çeviri)

The tactile sensation plays an essential part in perceiving and interacting with our surroundings, making touch-based technologies increasingly significant in everyday life. The technologies cover a wide spectrum from cellphones and tablets to sensors made entirely of textiles. When creating tactile sensing systems, multiple parameters need to be taken into account. Although touchscreens are the ideal choice for systems that need visual feedback, wearable technology requires devices that are soft, flexible, adjustable to the human body's shapes, and free from safety concerns. Textile-based capacitive pressure sensor array is selected for pressure sensing in gesture recognition system because of its accurate pressure detection capability and lightweight design. A pressure sensor array consisting of 11x2 sensors has been manufactured that rely on the principle of determining the location of pressure applied through variations in capacitance. It generates 22-dimensional capacitance data vector. In order to detect regions with higher capacitance when pressure is applied with fingertips, a sequence of data processing procedures, such as calibration, scaling, and flattening are executed. The manipulated data reveal a series of consecutively pressed cells on the textile sensor. In order to analyze the patterns of pressure applied cells, a deep learning model called Long Short-Term Memory (LSTM) and a machine learning model Hidden Markov Model (HMM) are utilized. The results of the two models were compared, and based on the obtained results, a high level of accuracy was achieved. In considering the difficulties caused by memorizing gestures or the inability of users to execute pre-defined gestures, it was considered crucial to enable the creation of new gestures and customization of them. In order to solve this issue, a class-incremental approach was implemented. The proposed approach deals with two primary problems: missing previous data and the inability to identify a new class of data. Changes were implemented to the LSTM layer and output layer of the existent model. The amount of new data sample is a factor that affects the equilibrium between usability and accuracy. As the amount of data sample grows, the duration of training increases and the usability decreases. On the other hand, when there are fewer data samples, the accuracy of the model reduces. In order to tackle this issue, a compromise was made by gathering a small number of data samples from the user and then enlarging the dataset through the utilization of data augmentation techniques. In order to reduce the risk of forgetting previous classes, the model was enhanced by using past data as inputs. An experiment was carried out in two phases, involving a total of 20 people. During the first phase, the participants were instructed to execute four predetermined movements -up, down, pinch, and zoom—. During the second phase, participants were instructed to repeatedly execute a new gesture in order to collect data for the creation of the model of the new gesture. Afterwards, they were instructed to execute both predetermined and newly defined gestures in order to confirm the recognition of the new data and ensure that the previous data were not forgotten. This phase was repeated to demonstrate the capacity to establish several new gestures. The recognition rate of the predetermined movements in the first phase gave accuracy values of 95.3% for deep learning model, 91.5% for machine learning model. After including one new gesture, the overall system achieved an accuracy of 96.3% for deep learning model, 91.7% for machine learning model. Furthermore, after introducing a second new gesture, the accuracy dropped slightly to 94.7% for deep learning model, 89.4% for machine learning model. Further studies will investigate the utilization of this technology as a controller.

Benzer Tezler

  1. Tez No

    875302

    Integrating sign language recognition and body posture gesture recognition in multimedia apps for inclusive interaction across international environments

    Isaret dilini tanima ve beden entegrasyonu multimedya uygulamalari için hareket tanima uluslararasi düzeyde kapsayici etkilesim çevreler

    ALP YÜKSEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. LAVDIE RADA

  2. Tez No

    849805

    Emotion recognition using deep learning focusing on the hand and facial expressions

    El ve yüz ifadelerine odaklanan derin oğrenmeyi kullanarak duygu tanıma

    HASANAIN JAWAD RADEEF

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. YILMAZ AR

  3. Tez No

    720819

    Gesture recognition for human-machine interaction in aviation

    Havacılıkta insan-makine etkileşimi için el hareketi sezme

    TUĞBA ZEYBEK

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Aviyonik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. UFUK SAKARYA

  4. Tez No

    613254

    A comprehensive dataset including force cues for gesture recognition and skills assessment in robotic surgery

    Robotik cerrahiide kuvvet ipuçları içeren kapsamlı bir veri seti hareket tanıma ve beceri değerlendirmesi

    DENİZ EKİN CANBAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE

    DR. ÖĞR. ÜYESİ FANNY FICUCIELLO

  5. Tez No

    647534

    Recognition and monitoring of human motions using RF signals

    İnsan hareketlerinin RF sinyalleri kullanarak tanımlanması ve izlenmesi

    CAN UYSAL

    Doktora

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik MühendisliğiEskişehir Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TANSU FİLİK

Geri Dön