Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi

Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning

PDF İndir

Tez No: 838669
Yazar: ÖMER KAYAN
Danışmanlar: DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
Tez Türü: Yüksek Lisans
Konular: Mekatronik Mühendisliği, Mechatronics Engineering
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2023
Dil: Türkçe
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
Sayfa Sayısı: 135

Özet

Günün olağan akışındaki işler, spor sırasındaki ani hareketler, kireçlenme veya yaşlanma nedeniyle insanlarda çeşitli sakatlanmalar meydana gelmektedir. Sakatlanmaların sınıflandırılması sonucunda diz, yaralanma sayısının en fazla olduğu ve iyileştirme giderlerinin en pahalı olduğu bölge olarak karşımıza çıkmaktadır. İnsan yapısının en büyük ve en karmaşık eklemi olan diz eklemi, üç önemli kemik (femur, tibia ve patella), dört çapraz bağ (iç, dış, ön çapraz ve arka çapraz), çok sayıda kas (kuadriseps, hamstringler, baldır kasları, gluteal kaslar ve popliteus), menisküsler (iç ve dış) ve kirişler (tendonlar) tarafından oluşturulmaktadır. Zaten karmaşık bir yapıya sahip olan diz eklemi bölgesi, sakatlanmalar sonrasında daha da karmaşık bir durum alabilmektedir. Yürüme sırasında kalçadaki kaslardan sonra en fazla erkeyi (enerji) dizdeki kasların tükettiği belirtilmektedir. Ayrıca diz eklemine vücut ağırlığının üç katına kadar yük bindiği belirtilmektedir. Diz ortezleri, eklemi dışarıdan desteklemek, eklemi korumak, biyomekanik dengeyi sağlamak, işlev bozukluklarını gidermek, ağrıyı azaltmak, zayıflamış kasları güçlendirmek amacıyla dizlerdeki sorunları iyileştirmeyi amaçlar. Ortezler genel olarak pasif ve aktif ortezler olarak iki sınıfa ayrılır. Pasif ortezlerde, hareketlilik ya önceden belirlenmiş aralıkların dışına çıkmaz ya da hiç hareket olmaz. Aktif ortezler ise üzerinde bulunan algılayıcılar ve eyleyiciler aracılığıyla hareket aralığını sürekli güncelleyerek insan bedenini daha verimli bir şekilde desteklemektedir. Her hasta öyküsü birbirinden farklı olduğu için bireysel iyileştirme yöntemi gerekir. Ortezler, her hastaya farklı şekilde takılarak ve ayarlanarak iyileştirme sürecine destek olur. Bu nedenle hastaya uygulanmadan önce, ortezlerin başarımlarının benzetim ortamlarında ölçülmesi, iyileştirme süreci boyunca verimliliği artırmaktadır. İnsan kas iskelet örneği benzetimleri, ortezin hastanın hareketlerini nasıl etkileyeceğinin önceden kestirilmesine olanak tanır. Bu çalışmada, insan kas iskelet örneğinin yürümeyi öğrenmesi için çalıştırılan benzetimlerde, kaynak yürüme hareketine öykünen derin pekiştirmeli öğrenme (DPÖ) yöntemleri kullanılmıştır. Benzetim ortamı Lee ve arkadaşlarının oluşturduğu temel üzerinde kurulmuştur. Son yıllardaki teknolojik gelişmelere bağlı olarak ortez ve protez gibi yardımcı cihazların insanlar üzerindeki etkilerini kestirmek için kas iskelet dizgesi benzetimleri yeğlenmektedir. Benzetim ortamlarının önemli yararı, gerçek hayatta çekinceli olan uygulamaların sanal ortamda kolaylıkla yapılabilmesidir. Ayrıca eklemlerdeki kas kuvveti ve tork değerleri gibi önemli göstergelerin daha kolay ölçülmesini sağlayarak olası durumlara karşı kestirimde bulunmayı sağlar. Bu çalışmada sağlıklı (Mh), dizinden sakatlanmış ancak ortez giymeyen (Mi), dizinden sakatlanıp pasif ortez giyen (Mp) ve dizinden sakatlanıp aktif ortez giyen (Ma) olmak üzere dört farklı insan kas iskelet örneğinin yürüme başarımları, diz bölgesindeki önemli kasların aktivasyonu ve yürümenin metabolik maliyetleri karşılaştırılmıştır. Pasif ortez, dizin belirli bölgelerine önceden ayarlanmış sabit bir kuvvet uygulamaktadır. Aktif ortez, belirli bölgelerden algılanan değerleri denetleyicide işleyerek, dizin belirli bölgesine sürekli değişen farklı büyüklüklerde tork uygulamaktadır. Tasarlanan denetleyici ilk olarak, dört farklı bölgeden açısal konum ve hız değerlerini yapay sinir ağının girişlerine beslemektedir. Yapay sinir ağı, bu değerleri işleyerek, diz ekleminin açısal konumunu kestirmektedir. Kestirimden sonra sonra oluşabilecek uç değerlerin hareketin düzgünlüğünü etkilememesi alçak geçiren süzgeç bulunmaktadır. Son olarak, amaçlanan diz eklemi açısına ulaşılması için gereken tork değeri, kararlı PD denetleyici ile hesaplanır. Kararlı PD denetleyicisi, benzetim ortamlarında bir sonraki adımı hesaplayarak denetleyicilerin kararlılığını artıran bir yöntemdir. İlk karşılaştırma yürüme başarımları üzerinden yapılmıştır. Yürüme başarımı, toplanan ödül tutarına göre belirlenir. Ödül tutarı, insan kas iskelet örneğine kaynak olarak verilen yürüme hareketi ile eğitim ve benzetim ortamındaki anlık çıktı arasındaki fark hesaplanarak belirlenir. Fark ve ödül ters orantılıdır, yani fark azaldıkça ödül tutarı artar. Ödül tutarı ne kadar yüksekse, yürüme o kadar başarılı sayılmaktadır. Yürüme başarımları eğitim ve benzetim ortamı olmak üzere iki farklı şekilde değerlendirilmiştir. Eğitim ortamında, ulaşılan en yüksek ödül tutarlarına göre başarı oranı, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi olmak üzere sıralanmıştır. Benzetim ortamında ise, ulaşılan en yüksek ortalama ödül tutarlarına göre başarı oranı, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi olmak üzere sıralanmıştır. İkincil karşılaştırma ise kas aktivasyonları üzerinden yapılmıştır. Yürümenin amacı, insan yapısını farklı yönlerde, istenilen hız ve yönde hareket ettirmektir. Bu işlem sırasında insan, ilgili uzuvlardaki eklemleri, kasları, kirişleri (tendon) ve bağları önemli ölçüde aktive etmektedir. Yürüme döngüsü basma evresi ve salınım evresi olmak üzere iki ana aşamadan oluşur. Basma evresi, ilk temas, yüklenme, basma ortası, basma sonu ve salınım öncesinden oluşmaktadır. Salınım evresi ise, erken salınım, salınım ortası ve salınım sonundan oluşmaktadır. Diz bölgesinde beş ana kas grubu vardır. Bunlar kuadrisepler (rectus femoris, vastus intermedius, vastus lateralis ve vastus medialis), hamstringler (bicep femoris longus, bicep femoris short, semimembranosus ve semitendinosus), baldır kasları (gastrocnemius lateral head, gastrocnemius medial head, soleus, tibialis anterior, tibialis posterior, plantaris ve peroneus longus), kalça kasları (gluteus maximus, gluteus medius, gluteus minimus ve piriformis) ve popliteus kaslarıdır. Mh'nin kas aktivasyonları, sağlıklı bir insanın kas aktivasyonları ile uyuşmaktadır. Mi ve Mp örneklerinin kuadriseps kasları, basma ortası evresinde aşırı şekilde zorlanmıştır. Mi, Mp ve Ma örneklerinin hamstring ve baldır kasları, basma ortası ve salınım sonu evrelerinde aşırı şekilde zorlanmıştır. Ma örneği, Mh örneğine göre, birçok kas bölümüde, en yakın kas aktivasyon değerlerini üretmiştir. Bunu sırasıyla Mp ve Mi örnekleri izlemektedir. Üçüncül karşılaştırma ise yürümenin metabolik maliıyetleri üzerinden yapılmıştır. Yürümenin metabolik maliyeti, bireyin belirli bir uzaklığa, belirli bir hızda yürümesi için harcanması gereken enerjinin toplamıdır. Temel olarak vücudun yürüme için gerekli mekanik işi gerçekleştirmek için ne kadar enerji tükettiğini ölçer. Tüm kas iskelet örnekleri için yürümenin metabolik maliyeti, farklı etkenler (yer tepki kuvveti, kas aktivasyon düzeyleri, eklem açıları, eklem momentleri, potansiyel ve kinetik enerji) üzerinden yorumlanmıştır. Bu yorumlar sonucunda, tüm etkenler için, en uygun metabolik maliyet sıralaması, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi şeklinde oluşmuştur. Bu çalışmada benzetim ortamında pasif ve aktif ortez tasarımları dört farklı örnek üzerinde sınanmış ve kas iskelet örneklerinin yürüme başarımları, kas aktivasyon düzeyleri ve yürümenin metabolik maliyetleri karşılaştırılmıştır. Tasarım amacı olarak aktif ortezli örneğin pasif ortezli örnekten, pasif ortezli örneğin ortez giymeyen sakatlanmış örnekten ve sağlıklı örneğin hepsinden daha iyi başarım göstermesi beklenmektedir. Başarım sonuçları karşılaştırıldığında tüm amaçlara ulaşıldığı görülmektedir. Yürüme dışında koşma, alıştırma hareketleri, dans gibi farklı hareket kaynakları ile deneysel çalışmamıza devam etmek ve farklı denetleyici yapılarını sınamak, ileride yapılması düşünülen araştırmalardan bazılarıdır.

Özet (Çeviri)

Various injuries occur in people due to work in the routines of the day, impulse during sports, arthritis or aging. As a result of the classification of injuries, the knee emerges as the region with the highest number of injuries and the most expensive treatment costs. The knee joint, the largest and most complex joint of human body, consists of three important bones (femur, tibia and patella), four cruciate ligaments (internal, external, anterior cruciate and posterior cruciate), numerous muscles (quadriceps, hamstrings, calf muscles, gluteal muscles, and popliteus), menisci (internal and external) and tendons. The knee joint region, which already has a complex structure, can become even more complicated after injuries. It is stated that the muscles in the knee consume the most energy after the muscles in the hips during walking. In addition, it is stated that the knee joint is loaded up to three times the body weight. Knee orthoses aim to treat the problems in the knees in order to support the joint externally, protect the joint, provide biomechanical balance, eliminate dysfunctions, reduce pain, strengthen weakened muscles. Orthoses are generally divided into two classes as passive and active orthoses. In passive orthoses, the mobility either does not go beyond predetermined ranges or there is no movement at all. Active orthoses, on the other hand, support the human body more efficiently by constantly updating the range of motion through the sensors and actuators on it. Since each patient's history (It is the history of the patient obtained as a result of the questions the doctor asks the patient for diagnostic purposes.) is different from each other, an individual treatment method is required. Orthoses support the treatment process by being fitted and adjusted differently for each patient. Therefore, measuring the performance of orthoses in simulation environments before they are applied to the patient increases efficiency throughout the treatment process. Human musculoskeletal model simulations allow prediction of how the orthosis will affect the patient's movements. In this study, deep reinforcement learning (DRL) methods, which imitate the reference walking movement, were used in the simulations of the human musculoskeletal model to learn to walk. The simulation environment is built on the basis of Lee et al. Depending on the technological developments in recent years, musculoskeletal system simulations are preferred to predict the effects of assistive devices such as orthoses and prostheses on humans. The important benefit of simulation environments is that applications that are prejudicial in real life can be easily done in the virtual environment. In addition, it provides easier measurement of important indicators such as muscle strength and torque values in the joints, and provides predictions against possible situations. In this study, the walking performance, activation of important muscles in the knee region, and metabolic costs of walking were compared in four different human musculoskeletal models: healthy (Mh), injured in the knee but not wearing orthosis (Mi), injured in the knee wearing passive orthosis (Mp), and injured in the knee wearing active orthosis (Ma). The passive orthosis applies a preset constant force to certain areas of the knee. The active orthosis processes the values sensed from certain regions in the controller and applies a torque of varying magnitudes to certain region of the knee. The designed controller first feeds the angular position and velocity values from four different regions to the inputs of the artificial neural network. By processing these values, the artificial neural network estimates the angular position of the knee joint. There is a low-pass filter so that the extreme values that may occur after the estimation do not affect the smoothness of the movement. Finally, the torque value required to reach the target knee joint angle is calculated with the stable PD controller. Stable PD controller is a method that increases the stability of controllers by calculating the next step in simulation environments. The first comparison was made over walking performances. Walking achievement is determined by the amount of reward collected. The reward amount is determined by calculating the difference between the reference walking motion to the human musculoskeletal model and the instantaneous output in the training and simulation environment. The difference and the reward are inversely proportional, i.e. the smaller the difference, the greater the reward amount. The higher the reward amount, the more successful the walk is considered. Walking performances were evaluated in two different ways as training and simulation environment. In the training, the success rate according to the highest reward amounts reached was ranked as Mh as a healthy model, Ma wearing an active orthosis, Mp wearing a passive orthosis, and Mi injured but not wearing an orthosis. In the simulation environment, the success rate according to the highest average reward amounts reached was ranked as Mh as the healthy model, Ma wearing the active orthosis, Mp wearing the passive orthosis, and Mi injured but not wearing an orthosis. Secondary comparison was made over muscle activations. The purpose of walking is to move the human body in different directions, at the desired speed and direction. During this process, the person significantly activates the joints, muscles, tendons and ligaments in the involved limbs. The gait cycle consists of two main phases, the stance phase and the swing phase. The stance phase consists of initial contact, loading response, mid stance, terminal stance, and pre-swing. The swing phase consists of initial swing, mid swing, and terminal swing. There are five main muscle groups in the knee region. These are the quadriceps (rectus femoris, vastus intermedius, vastus lateralis and vastus medialis), hamstrings (bicep femoris long, bicep femoris short, semimembranosus and semitendinosus), calf muscles (gastrocnemius lateral head, gastrocnemius medial head, soleus, tibialis anterior, tibialis posterior, plantaris and peroneus longus), gluteal muscles (gluteus maximus, gluteus medius, gluteus minimus and piriformis) and popliteus muscles. The muscle activations of Mh match the muscle activations of a healthy person. The quadriceps muscles of the Mi and Mp models were extremely forced during the mid stance phase. The hamstring and calf muscles of Mi, Mp, and Ma models were extremely forced during the mid stance and terminal swing. The Ma model produces the closest muscle activation values to the Mh model in almost all muscle groups. This is followed by Mp and Mi models, respectively. The tertiary comparison was made based on the metabolic costs of walking. The metabolic cost of walking is the sum of the energy that must be expended by an individual to walk a certain distance at a certain speed. It basically measures how much energy the body uses to perform the mechanical work required for walking. The metabolic cost of walking for all musculoskeletal samples was interpreted through different factors (ground reaction force, muscle activation levels, joint angles, joint moments, potential and kinetic energy). As a result of these comments, the most optimum metabolic cost ranking for all factors was formed as Mh for the healthy model, Ma for the active orthosis-wearing model, Mp for the passive orthosis-wearing model and Mi for the injured but not wearing orthosis model. In this study, passive and active orthosis designs were tested on four different human musculoskeletal models. Walking performances, muscle activations, and metabolic cost of walking of the models were compared. As a design goal, it is expected that the active orthosis model will outperform the passive orthosis model, the passive orthosis model will outperform the non-orthosis injured model, and the healthy model will outperform all of them. It is seen that all targets have been achieved. Continuing experimental study with different animation references such as running, exercise, and dance other than walking and testing different controller structures are some of the research that is planned to do in the future.

Benzer Tezler

Tez No
493888
Manyetoreolojik (MR) silindirli yarı etkin diz eklemi ortezi tasarımı
Design of semi active knee joint orthosis with magnetorheological (MR) damper
ÇAĞRI AKALIN
Yüksek Lisans
Türkçe
2018
Elektrik ve Elektronik Mühendisliği Hacettepe Üniversitesi
Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ATİLA YILMAZ
Tez No
822238
Patellofemoral ağrı sendromu olan hastalarda kinezyo bantlama ve diz ortezinin etkinliğinin karşılaştırılması
Comparing the effectiveness of kinesio taping and knee orthosis in patients with patellofemoral pain syndrome
YUNUS ÖZDEMİR
Doktora
Türkçe
2023
Fizyoterapi ve Rehabilitasyon İstanbul Medipol Üniversitesi
Fizyoterapi ve Rehabilitasyon Ana Bilim Dalı
PROF. DR. ZELİHA CANDAN ALGUN
DOÇ. DR. BİLGEHAN ÇATAL
Tez No
88660
Konjenital talipes ekinovarusta fizyoterapi rehabilitasyonun etkinliğinin araştırılması
Effectiveness of physical therapy and rehabilitation in congenital talipesequinovarus
NİLGÜN BEK
Doktora
Türkçe
2000
Fiziksel Tıp ve Rehabilitasyon Hacettepe Üniversitesi
Fizik Tedavi ve Rehabilitasyon Ana Bilim Dalı
PROF.DR. FATMA UYGUR
Tez No
99437
İnmeli hastalarda kullanılan farklı ayak bileği-ayak ortezlerinin ambulasyon ve yürümenin çeşitli parametreleri üzerine etkilerinin incelenmesi
Analysis of the effects of ambulation and various gait parameters on the stroke patients using different akle-foot orthosis
HAYDAR ALTINKAYNAK
Yüksek Lisans
Türkçe
2000
Fiziksel Tıp ve Rehabilitasyon Ankara Üniversitesi
Fiziksel Tıp ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. AYŞE A. KÜÇÜKDEVECİ
Tez No
604502
Diz üstü amputasyonu olan bireylerde ikili görev denge eğitiminin etkilerinin incelenmesi
Investigation of the effects of dual task balance training in individuals with above knee amputation
SENEM DEMİRDEL
Doktora
Türkçe
2019
Fizyoterapi ve Rehabilitasyon Hacettepe Üniversitesi
Protez-Ortez ve Biyomekani Bilim Dalı
PROF. DR. FATİH ERBAHÇECİ

Geri Dön