Geri Dön

Physical hand animation with machine learning

Makine öğrenmesi ile fiziksel el animasyonu

PDF İndir

  1. Tez No: 645886
  2. Yazar: TARIK CANTÜRK
  3. Danışmanlar: DR. ÖĞR. ÜYESİ ZÜMRA KAVAFOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Grafiği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 91

Özet

Eller, insanların çevreleriyle etkileşim için kullandıkları en önemli uzuvlarıdır. Bir nesneyi yakalamak, tutmak, taşımak, ona dokunmak ve daha birçok etkileşim el ile yapılmaktadır. El, anatomik olarak çok karmaşık bir yapıdadır. Her bir parmaktaki kemikler, eklemler, onları birbirine bağlayan ve hareketi sağlayan kas ve tendonlar hesaba katıldığında, bir işlevin gerçekleştirilmesini modellemek için yapılması gereken işlemlerin karmaşıklığı ortaya çıkmaktadır. El hareketlerini bilgisayar ortamına aktarabilmek için çeşitli hareket yakalama sistemleri kullanılmaktadır. Ancak fırlatılan bir nesnenin yakalanması hareketinin bu sistemler ile üretilmesi işlemi durağan nesnelerle yapılan hareket yakalama işlemlerine göre çok daha zordur. Ek olarak, başarılı bir hareket yakalama verisi ile ancak kinematik animasyon oluşturulabilir ve bu kinematik animasyonlar farklı yakalama senaryoları için kullanılmaya uygun olmayabilir. Bu nedenle, el hareketlerinin fizik tabanlı animasyon ile sentezlenmesi ihtiyacı doğmaktadır. El hareketinin fizik temelli animasyonunu üretebilmek için elin fiziksel modelinin oluşturulması gerekir. Bu tez çalışmasında, bir iskelet yapısı üzerinde kas ve yumuşak dokular bulunan fiziksel bir el modeli sunulmaktadır. Sunulan modelin hem gerçekçi fiziksel etkileşimler oluşturması hem de işlem hızı bakımından verimli olması amaçlanmıştır. Günümüzde, makine öğrenmesi yöntemlerinden faydalanılarak, bilgisayar animasyonu alanında çok başarılı çalışmalar yapılmaktadır. Biz de bu tez çalışmasında, sunduğumuz el modelinin bir nesneyi yakalaması için gerekli hareketleri, derin pekiştirmeli öğrenme yöntemleriyle üreten bir sistem ortaya koymaktayız. Fırlatılan bir nesnenin yakalanması hareketi, bir çok vücut parçasının koordineli olarak çalışmasıyla elde edilir. Bizim bu çalışmada esas odağımız uygun fizik tabanlı el hareketlerinin üretilmesi olmakla birlikte, eli nesneyle kesişeceği doğru konuma ve oryantasyona getirmek için gerekli olan kol hareketlerinin sentezlenmesi de çalışmaya dahil edilmiştir. Yakalama hareketinin küçük aşamalara bölünerek ele alınabileceği literatürde gösterilmiştir. Biz de bu çalışmada yakalama hareketini iki aşamada ele alıp, her bir aşama için derin pekiştirmeli öğrenme ile farklı bir kontrolcü beyin geliştirdik. Bu beyinlerden ilki, kolu yakalama hareketine hazırlanacak biçimde hareket ettirmek için tasarlanmıştır. İkinci beyin ise, eli kontrol ederek esas yakalama işlemini gerçekleştirmek için tasarlanmıştır. Buna ek olarak, bu iki kontrolcünün çalışma zamanlarını yönetecek üçüncü bir beyin de yine derin pekiştirmeli öğrenme ile üretilmiştir. Çalışmamızda ortaya koyduğumuz sistemin sonuçları çeşitli deneyler aracılığıyla değerlendirilmiş ve farklı konfigürasyonlarla karşılaştırılmıştır. Buna ek olarak üretilen yakalama hareketinin gerçekçiliğini değerlendirmek için kullanıcı testleri gerçekleştirilmiştir.

Özet (Çeviri)

Hands are the essential limbs of humans which they use for interacting with their environments. Catching, holding, moving, touching, and many other interactions are done by hand. The hand has a highly complex anatomical structure. It is a quite complicated task to model the hand movements, considering the bones of the fingers, joints, muscles, and tendons that connect them to each other and move them. Several motion capture systems are used to transfer hand motions to the digital environment. However, it's harder to capture a catching motion with these systems, compared to capturing hand interactions with steady objects. Besides, only kinematic animations can be generated with motion capture systems, and these kinematic animations may not be usable for different catching scenarios. Therefore, employing physics-based animation techniques for generating hand motions is needed. To generate hand motions with physics-based animation techniques, the physical model of the hand must be created. We present a physical hand model with muscles and soft tissues on a skeletal structure. The presented model is intended to create realistic physical interactions and also to be efficient enough. Recently, great accomplishments have been achieved in computer animation field with the em- ployment of machine learning techniques. We present a framework that generates catch- ing motions for the proposed physical hand model, by using deep reinforcement learning techniques. To catch a thrown object, multiple body parts are required to work in coordination. While our main focus is to generate proper physics-based hand motions, we also work on synthesizing arm motions that are essential for taking the hand to the correct interception point with the right orientation. It's been addressed in the literature [1, 2] that catching motion can be divided into smaller phases. In this way, we handle the catching motion in two phases and developed a controller brain for each phase by using deep reinforcement learning. One of these brains is designed to move the arm for getting prepared for the catching motion. And then the other one is designed to control the hand for accomplishing the actual catching movement. In addition to these, a third brain is generated with deep reinforcement learning, that manages the working time of these two brains. The results of the proposed framework is evaluated and compared with other configurations by several experiments. Moreover, user test studies have been conducted for evaluating the naturalness of the resulting motions.

Benzer Tezler

  1. Tez No

    46388

    Esnek üretim sistemlerinin tasarımı ve çizelgelemesi

    Design and scheduling of flexible manufacturing systems

    AHMET MURAT PORAY

    Yüksek Lisans

    Türkçe

    Türkçe

    1995

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    DOÇ.DR. M. BÜLENT DURMUŞOĞLU

  2. Tez No

    356059

    Meme merkezinde hasta akış diyagramının oluşturulması ve iyileştirilmesi

    Modeling and improvement of patient flow chart in a breast cancer center

    DUYGU ARSOY İLİKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Hastanelerİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. HATİCE AKDAĞ

  3. Tez No

    313544

    Real-time fur modeling with simulation of physical effects

    Gerçek zamanlı hayvan kürkü modellemesinin fiziksel efektlerle simülasyonu

    SİNAN ARIYÜREK

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    PROF. DR. BÜLENT ÖZGÜÇ

  4. Tez No

    432971

    EMG kontrollü el rehabilitasyon ve destek sistemi için bilgisayar - telefon arayüz tasarımı ve geliştirilmesi

    Design and development of the computer – smartphone interface for EMG controlled hand rehabilitation and support system

    MUSTAFA ERCAN SAYILGAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    BiyolojiMarmara Üniversitesi

    Mekatronik Ana Bilim Dalı

    DOÇ. DR. ERKAN KAPLANOĞLU

  5. Tez No

    490259

    Real-time physics-based motion control with an efficient inverse dynamics method

    Verimli bir ters dinamik yöntemi ile gerçek zamanlı fiziksel hareket kontrolü

    ERSAN KAVAFOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Grafiği Ana Bilim Dalı

    YRD. DOÇ. DR. SERDAR ARITAN

Geri Dön