Physical hand animation with machine learning
Makine öğrenmesi ile fiziksel el animasyonu
- Tez No: 645886
- Danışmanlar: DR. ÖĞR. ÜYESİ ZÜMRA KAVAFOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Grafiği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 91
Özet
Eller, insanların çevreleriyle etkileşim için kullandıkları en önemli uzuvlarıdır. Bir nesneyi yakalamak, tutmak, taşımak, ona dokunmak ve daha birçok etkileşim el ile yapılmaktadır. El, anatomik olarak çok karmaşık bir yapıdadır. Her bir parmaktaki kemikler, eklemler, onları birbirine bağlayan ve hareketi sağlayan kas ve tendonlar hesaba katıldığında, bir işlevin gerçekleştirilmesini modellemek için yapılması gereken işlemlerin karmaşıklığı ortaya çıkmaktadır. El hareketlerini bilgisayar ortamına aktarabilmek için çeşitli hareket yakalama sistemleri kullanılmaktadır. Ancak fırlatılan bir nesnenin yakalanması hareketinin bu sistemler ile üretilmesi işlemi durağan nesnelerle yapılan hareket yakalama işlemlerine göre çok daha zordur. Ek olarak, başarılı bir hareket yakalama verisi ile ancak kinematik animasyon oluşturulabilir ve bu kinematik animasyonlar farklı yakalama senaryoları için kullanılmaya uygun olmayabilir. Bu nedenle, el hareketlerinin fizik tabanlı animasyon ile sentezlenmesi ihtiyacı doğmaktadır. El hareketinin fizik temelli animasyonunu üretebilmek için elin fiziksel modelinin oluşturulması gerekir. Bu tez çalışmasında, bir iskelet yapısı üzerinde kas ve yumuşak dokular bulunan fiziksel bir el modeli sunulmaktadır. Sunulan modelin hem gerçekçi fiziksel etkileşimler oluşturması hem de işlem hızı bakımından verimli olması amaçlanmıştır. Günümüzde, makine öğrenmesi yöntemlerinden faydalanılarak, bilgisayar animasyonu alanında çok başarılı çalışmalar yapılmaktadır. Biz de bu tez çalışmasında, sunduğumuz el modelinin bir nesneyi yakalaması için gerekli hareketleri, derin pekiştirmeli öğrenme yöntemleriyle üreten bir sistem ortaya koymaktayız. Fırlatılan bir nesnenin yakalanması hareketi, bir çok vücut parçasının koordineli olarak çalışmasıyla elde edilir. Bizim bu çalışmada esas odağımız uygun fizik tabanlı el hareketlerinin üretilmesi olmakla birlikte, eli nesneyle kesişeceği doğru konuma ve oryantasyona getirmek için gerekli olan kol hareketlerinin sentezlenmesi de çalışmaya dahil edilmiştir. Yakalama hareketinin küçük aşamalara bölünerek ele alınabileceği literatürde gösterilmiştir. Biz de bu çalışmada yakalama hareketini iki aşamada ele alıp, her bir aşama için derin pekiştirmeli öğrenme ile farklı bir kontrolcü beyin geliştirdik. Bu beyinlerden ilki, kolu yakalama hareketine hazırlanacak biçimde hareket ettirmek için tasarlanmıştır. İkinci beyin ise, eli kontrol ederek esas yakalama işlemini gerçekleştirmek için tasarlanmıştır. Buna ek olarak, bu iki kontrolcünün çalışma zamanlarını yönetecek üçüncü bir beyin de yine derin pekiştirmeli öğrenme ile üretilmiştir. Çalışmamızda ortaya koyduğumuz sistemin sonuçları çeşitli deneyler aracılığıyla değerlendirilmiş ve farklı konfigürasyonlarla karşılaştırılmıştır. Buna ek olarak üretilen yakalama hareketinin gerçekçiliğini değerlendirmek için kullanıcı testleri gerçekleştirilmiştir.
Özet (Çeviri)
Hands are the essential limbs of humans which they use for interacting with their environments. Catching, holding, moving, touching, and many other interactions are done by hand. The hand has a highly complex anatomical structure. It is a quite complicated task to model the hand movements, considering the bones of the fingers, joints, muscles, and tendons that connect them to each other and move them. Several motion capture systems are used to transfer hand motions to the digital environment. However, it's harder to capture a catching motion with these systems, compared to capturing hand interactions with steady objects. Besides, only kinematic animations can be generated with motion capture systems, and these kinematic animations may not be usable for different catching scenarios. Therefore, employing physics-based animation techniques for generating hand motions is needed. To generate hand motions with physics-based animation techniques, the physical model of the hand must be created. We present a physical hand model with muscles and soft tissues on a skeletal structure. The presented model is intended to create realistic physical interactions and also to be efficient enough. Recently, great accomplishments have been achieved in computer animation field with the em- ployment of machine learning techniques. We present a framework that generates catch- ing motions for the proposed physical hand model, by using deep reinforcement learning techniques. To catch a thrown object, multiple body parts are required to work in coordination. While our main focus is to generate proper physics-based hand motions, we also work on synthesizing arm motions that are essential for taking the hand to the correct interception point with the right orientation. It's been addressed in the literature [1, 2] that catching motion can be divided into smaller phases. In this way, we handle the catching motion in two phases and developed a controller brain for each phase by using deep reinforcement learning. One of these brains is designed to move the arm for getting prepared for the catching motion. And then the other one is designed to control the hand for accomplishing the actual catching movement. In addition to these, a third brain is generated with deep reinforcement learning, that manages the working time of these two brains. The results of the proposed framework is evaluated and compared with other configurations by several experiments. Moreover, user test studies have been conducted for evaluating the naturalness of the resulting motions.
Benzer Tezler
- Esnek üretim sistemlerinin tasarımı ve çizelgelemesi
Design and scheduling of flexible manufacturing systems
AHMET MURAT PORAY
Yüksek Lisans
Türkçe
1995
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. M. BÜLENT DURMUŞOĞLU
- Meme merkezinde hasta akış diyagramının oluşturulması ve iyileştirilmesi
Modeling and improvement of patient flow chart in a breast cancer center
DUYGU ARSOY İLİKAN
Yüksek Lisans
Türkçe
2014
Hastanelerİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
YRD. DOÇ. HATİCE AKDAĞ
- Real-time fur modeling with simulation of physical effects
Gerçek zamanlı hayvan kürkü modellemesinin fiziksel efektlerle simülasyonu
SİNAN ARIYÜREK
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Bölümü
PROF. DR. BÜLENT ÖZGÜÇ
- EMG kontrollü el rehabilitasyon ve destek sistemi için bilgisayar - telefon arayüz tasarımı ve geliştirilmesi
Design and development of the computer – smartphone interface for EMG controlled hand rehabilitation and support system
MUSTAFA ERCAN SAYILGAN
Yüksek Lisans
Türkçe
2016
BiyolojiMarmara ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. ERKAN KAPLANOĞLU
- Real-time physics-based motion control with an efficient inverse dynamics method
Verimli bir ters dinamik yöntemi ile gerçek zamanlı fiziksel hareket kontrolü
ERSAN KAVAFOĞLU
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Grafiği Ana Bilim Dalı
YRD. DOÇ. DR. SERDAR ARITAN