İnsan uzuvlarındaki eklem momentlerinin derin öğrenme yöntemiyle video görüntüleri üzerinden tahmini
Estimation of joint moments in human limbs through video images with deep learning method
- Tez No: 781036
- Danışmanlar: DR. ÖĞR. ÜYESİ KASIM SERBEST
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Sakarya Uygulamalı Bilimler Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
İnsan hareketinin analizi üzerine geçmişten günümüze kadar çeşitli çalışmalar yapılmıştır. Kinetik ve kinematik hareket analizi için birçok deney, yöntem ve araç geliştirilmiştir. İnsan hareketinin kinetik analizlerinden biri olan eklem momentlerinin tespiti çalışmaları ergonomi, rehabilitasyon, eğitim, protez ve ortez geliştirme vb. birçok alan için önemlidir. Eklem momentlerinin tespitinde elektromiyografi, hareket sensörleri, optik kameralar veya derinlikli kameralardan elde edilen verileri kullanan birçok sistem geliştirilmiştir. Elde edilen verilerden eklem momentlerinin tahmini için, matematiksel hesaplamalar, simülasyon yazılımları veya dinamik modeller kullanılmıştır. Eklem momentlerinin tespiti için veri toplama aşaması özel ekipman gerektirmekte ve çoğu zaman özel ortamlara ihtiyaç duymaktadır. Bazı durumlarda ise algılayıcılar deneğin hareketini kısıtlamaktadır. Yine eklem momentlerinin tespiti için kullanılan sistemler bazen zorlayıcı denklemler gerektirmekte bazen ise analiz için uzman kişilere veya ön düzenlemelere ihtiyaç duymaktadırlar. Gerçekleştirilen bu çalışma ile özel donanımlara, ücretli yazılımlara veya uzman bilgisine ihtiyaç duyulmadan yüksek doğrulukta ve yüksek hızda eklem momenti tahmininde bulunabilen bir sistem geliştirmek amaçlanmıştır. Derin öğrenme yöntemleri son dönemlerde bilgisayarlı görü alanında yüksek başarılar göstermektedir. Özellikle veri setlerindeki artış ve sürekli geliştirilen açık kaynak kütüphaneler sayesinde derin öğrenme uygulamaları hızla artmaktadır. MediaPipe gibi kütüphaneler, geliştiricilerin derin öğrenme problemleriyle uğraşmak yerine kendi alanlarıyla ilgili kısımlara odaklanmalarına olanak sağlamıştır. Gerçekleştirdiğimiz çalışmada hareket tek video kamerayla sagital düzlemde gözlenmiştir. Gözlenen hareketlerdeki eklem noktaları hem Kinovea analiz yazılımı hem de geliştirilen uygulamayla tespit edilmiştir. Tespit edilen eklem noktalarına göre eklem açıları, açısal hız ve açısal ivme hesaplanmıştır. Her bir video karesi için hesaplanan değerler bir diziye yerleştirilmiştir. Deneklerin boy ve kilo bilgileri önceden kaydedilmiştir. Bu veriler antropometrik verilerle işlenerek uzuvların boy, kilo ve atalet momentleri hesaplanmıştır. Daha sonra eklem açıları, açısal hız ve atalet momentleri kullanılarak eklemlerde oluşan momentler hesaplanmıştır. Öncelikle geliştirilen uygulamanın tahmin hızı analiz edilmiştir. Tahmin hızı 720p çözünürlük için ortalama 15 fps olarak hesaplanmıştır. Hesaplama sonucunda tahmin edilen moment değerleri Kinovea'dan elde edilen değerlerle kıyaslanmıştır. Kalça eklem momenti doğruluk korelasyonu R=0,94; diz eklem momenti doğruluk korelasyonu R=0,95 olarak gözlenmiştir. Ayak bileği eklem momenti doğruluk korelasyonu değeri ise R=0,11' de kalmıştır.
Özet (Çeviri)
Various studies have been carried out on the analysis of human movement from past to present. Many experiments, methods and tools have been developed for kinetic and kinematic motion analysis. The detection of joint moments, which is one of the kinetic analyzes of human movement, is important for many areas such as ergonomics, rehabilitation, education, prosthesis and orthosis development, etc. Many systems have been developed that use data from electromyography, motion sensors, optical cameras or depth cameras to detect joint moments. For the estimation of joint moments from the obtained data, mathematical calculations, simulation software or dynamic models were used. The data collection phase for the detection of joint moments requires special equipment and often requires special environments. In some cases, sensors restrict the subject's movement. Again, the systems used for the detection of joint moments sometimes require challenging equations, and sometimes they require experts or preliminary arrangements for analysis. With this study, it is aimed to develop a system that can estimate joint moment with high accuracy and at high speed without the need for special hardware, paid software or expert knowledge. Deep learning methods have recently shown high success in the field of computer vision. Deep learning applications are increasing rapidly, thanks to the increase in data sets and continuously developed open-source libraries. Libraries like MediaPipe have allowed developers to focus on parts of their field rather than dealing with deep learning problems. In our study, motion was observed in the sagittal plane with a single video camera. The joint points in the observed movements were determined by both the Kinovea analysis software and the developed application. Joint angles, angular velocity and angular acceleration were calculated according to the determined joint points. The calculated values for each video frame are placed in an array. The height and weight information of the subjects were recorded in advance. These data were processed with anthropometric data and the height, weight and moments of inertia of the limbs were calculated. Then, the moments formed in the joints were calculated by using joint angles, angular velocity and moments of inertia. First, the estimation speed of the developed application was analyzed. The estimation speed is calculated as an average of 15 fps for 720p resolution. As a result of the calculation, the estimated moment values were compared with the values obtained from Kinovea. The hip joint moment accuracy correlation was observed as R=0.94 and the knee joint moment accuracy correlation as R=0.95. The ankle joint moment accuracy correlation value remained at R=0.11.
Benzer Tezler
- Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi
Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning
ÖMER KAYAN
Yüksek Lisans
Türkçe
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
- A New dynamic and adaptive scheme for indexing in metric spaces
Metrik uzaylarda indeksleme için dinamik ve adaptif yeni bir yöntem
UMUT TOSUN
Yüksek Lisans
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. CENGİZ ÇELİK
PROF.DR. ÖZGÜR ULUSOY
- Empedans pletismografisi yöntemiyle kan akış hacminin ve kalbin fizyolojik parametrelerinin bilgisayar destekli ölçümü
Computer aided determination of blood volume and the physiological parameters of heart by impedance plethysmography
TİMUÇİN TORMAÇ
Yüksek Lisans
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET KORÜREK
- Development of an effective kinematic synthesis and admittance control methodology for rehabilitation robotics
Robotik rehabilitasyon için etkili bir kinematik sentez ve admitans kontrol yönteminin geliştirilmesi
MERTCAN KOÇAK
Yüksek Lisans
İngilizce
2020
Mekatronik Mühendisliğiİzmir Katip Çelebi ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERKİN GEZGİN
DR. ÖĞR. ÜYESİ ÖZGÜN BAŞER
- Takiyettin Mengüşoğlu'nun insana antropolojik yaklaşımı
Takiyettin Mengüşoğlu's anthropological approach to human
AYNUR ÖZÇELİK
Yüksek Lisans
Türkçe
2021
FelsefeKahramanmaraş Sütçü İmam ÜniversitesiFelsefe ve Din Bilimleri Ana Bilim Dalı
DOÇ. DR. NECATİ DEMİR