Geri Dön

İnsan uzuvlarındaki eklem momentlerinin derin öğrenme yöntemiyle video görüntüleri üzerinden tahmini

Estimation of joint moments in human limbs through video images with deep learning method

  1. Tez No: 781036
  2. Yazar: SÜLEYMAN AKTÜRK
  3. Danışmanlar: DR. ÖĞR. ÜYESİ KASIM SERBEST
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Sakarya Uygulamalı Bilimler Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 98

Özet

İnsan hareketinin analizi üzerine geçmişten günümüze kadar çeşitli çalışmalar yapılmıştır. Kinetik ve kinematik hareket analizi için birçok deney, yöntem ve araç geliştirilmiştir. İnsan hareketinin kinetik analizlerinden biri olan eklem momentlerinin tespiti çalışmaları ergonomi, rehabilitasyon, eğitim, protez ve ortez geliştirme vb. birçok alan için önemlidir. Eklem momentlerinin tespitinde elektromiyografi, hareket sensörleri, optik kameralar veya derinlikli kameralardan elde edilen verileri kullanan birçok sistem geliştirilmiştir. Elde edilen verilerden eklem momentlerinin tahmini için, matematiksel hesaplamalar, simülasyon yazılımları veya dinamik modeller kullanılmıştır. Eklem momentlerinin tespiti için veri toplama aşaması özel ekipman gerektirmekte ve çoğu zaman özel ortamlara ihtiyaç duymaktadır. Bazı durumlarda ise algılayıcılar deneğin hareketini kısıtlamaktadır. Yine eklem momentlerinin tespiti için kullanılan sistemler bazen zorlayıcı denklemler gerektirmekte bazen ise analiz için uzman kişilere veya ön düzenlemelere ihtiyaç duymaktadırlar. Gerçekleştirilen bu çalışma ile özel donanımlara, ücretli yazılımlara veya uzman bilgisine ihtiyaç duyulmadan yüksek doğrulukta ve yüksek hızda eklem momenti tahmininde bulunabilen bir sistem geliştirmek amaçlanmıştır. Derin öğrenme yöntemleri son dönemlerde bilgisayarlı görü alanında yüksek başarılar göstermektedir. Özellikle veri setlerindeki artış ve sürekli geliştirilen açık kaynak kütüphaneler sayesinde derin öğrenme uygulamaları hızla artmaktadır. MediaPipe gibi kütüphaneler, geliştiricilerin derin öğrenme problemleriyle uğraşmak yerine kendi alanlarıyla ilgili kısımlara odaklanmalarına olanak sağlamıştır. Gerçekleştirdiğimiz çalışmada hareket tek video kamerayla sagital düzlemde gözlenmiştir. Gözlenen hareketlerdeki eklem noktaları hem Kinovea analiz yazılımı hem de geliştirilen uygulamayla tespit edilmiştir. Tespit edilen eklem noktalarına göre eklem açıları, açısal hız ve açısal ivme hesaplanmıştır. Her bir video karesi için hesaplanan değerler bir diziye yerleştirilmiştir. Deneklerin boy ve kilo bilgileri önceden kaydedilmiştir. Bu veriler antropometrik verilerle işlenerek uzuvların boy, kilo ve atalet momentleri hesaplanmıştır. Daha sonra eklem açıları, açısal hız ve atalet momentleri kullanılarak eklemlerde oluşan momentler hesaplanmıştır. Öncelikle geliştirilen uygulamanın tahmin hızı analiz edilmiştir. Tahmin hızı 720p çözünürlük için ortalama 15 fps olarak hesaplanmıştır. Hesaplama sonucunda tahmin edilen moment değerleri Kinovea'dan elde edilen değerlerle kıyaslanmıştır. Kalça eklem momenti doğruluk korelasyonu R=0,94; diz eklem momenti doğruluk korelasyonu R=0,95 olarak gözlenmiştir. Ayak bileği eklem momenti doğruluk korelasyonu değeri ise R=0,11' de kalmıştır.

Özet (Çeviri)

Various studies have been carried out on the analysis of human movement from past to present. Many experiments, methods and tools have been developed for kinetic and kinematic motion analysis. The detection of joint moments, which is one of the kinetic analyzes of human movement, is important for many areas such as ergonomics, rehabilitation, education, prosthesis and orthosis development, etc. Many systems have been developed that use data from electromyography, motion sensors, optical cameras or depth cameras to detect joint moments. For the estimation of joint moments from the obtained data, mathematical calculations, simulation software or dynamic models were used. The data collection phase for the detection of joint moments requires special equipment and often requires special environments. In some cases, sensors restrict the subject's movement. Again, the systems used for the detection of joint moments sometimes require challenging equations, and sometimes they require experts or preliminary arrangements for analysis. With this study, it is aimed to develop a system that can estimate joint moment with high accuracy and at high speed without the need for special hardware, paid software or expert knowledge. Deep learning methods have recently shown high success in the field of computer vision. Deep learning applications are increasing rapidly, thanks to the increase in data sets and continuously developed open-source libraries. Libraries like MediaPipe have allowed developers to focus on parts of their field rather than dealing with deep learning problems. In our study, motion was observed in the sagittal plane with a single video camera. The joint points in the observed movements were determined by both the Kinovea analysis software and the developed application. Joint angles, angular velocity and angular acceleration were calculated according to the determined joint points. The calculated values for each video frame are placed in an array. The height and weight information of the subjects were recorded in advance. These data were processed with anthropometric data and the height, weight and moments of inertia of the limbs were calculated. Then, the moments formed in the joints were calculated by using joint angles, angular velocity and moments of inertia. First, the estimation speed of the developed application was analyzed. The estimation speed is calculated as an average of 15 fps for 720p resolution. As a result of the calculation, the estimated moment values were compared with the values obtained from Kinovea. The hip joint moment accuracy correlation was observed as R=0.94 and the knee joint moment accuracy correlation as R=0.95. The ankle joint moment accuracy correlation value remained at R=0.11.

Benzer Tezler

  1. Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi

    Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning

    ÖMER KAYAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HÜLYA YALÇIN

  2. A New dynamic and adaptive scheme for indexing in metric spaces

    Metrik uzaylarda indeksleme için dinamik ve adaptif yeni bir yöntem

    UMUT TOSUN

    Yüksek Lisans

    İngilizce

    İngilizce

    2007

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. CENGİZ ÇELİK

    PROF.DR. ÖZGÜR ULUSOY

  3. Empedans pletismografisi yöntemiyle kan akış hacminin ve kalbin fizyolojik parametrelerinin bilgisayar destekli ölçümü

    Computer aided determination of blood volume and the physiological parameters of heart by impedance plethysmography

    TİMUÇİN TORMAÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    1993

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    DOÇ.DR. MEHMET KORÜREK

  4. Development of an effective kinematic synthesis and admittance control methodology for rehabilitation robotics

    Robotik rehabilitasyon için etkili bir kinematik sentez ve admitans kontrol yönteminin geliştirilmesi

    MERTCAN KOÇAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Mekatronik Mühendisliğiİzmir Katip Çelebi Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ERKİN GEZGİN

    DR. ÖĞR. ÜYESİ ÖZGÜN BAŞER

  5. Takiyettin Mengüşoğlu'nun insana antropolojik yaklaşımı

    Takiyettin Mengüşoğlu's anthropological approach to human

    AYNUR ÖZÇELİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    FelsefeKahramanmaraş Sütçü İmam Üniversitesi

    Felsefe ve Din Bilimleri Ana Bilim Dalı

    DOÇ. DR. NECATİ DEMİR