Real-time speech driven gesture animation
Gerçek zamanlı konuşma sürümlü jest animasyonu
- Tez No: 435857
- Danışmanlar: DOÇ. YÜCEL YEMEZ, DOÇ. ENGİN ERZİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 39
Özet
El, kol ve baş ile içgüdüsel veya planlı yapılan vücut jestleri yüz-yüze iletişimin önemli öğelerinden bir tanesidir. Vücut jestleri ve konuşma, zamanda birlikte yer alan, konuşmacı tarafından bilişsel olarak duygu ve etkileşim içeriğine bağlı planlanan ve birlikte üretilen iletişim mekanizmalarıdır. Geçmiş çalışmalarımızda jest–konuşma ortak modellerinden ürettiğimiz konuşma ile sürülen jest animasyonu yöntemleri geliştirdik. Bu yöntemler ağırlıklı olarak Viterbi çözücüler kullanmaktadır ve gerçek zamanlı çalışmamaktadır. Bu tez çalışmasında, Viterbi algoritmasındaki parametreleri en uygun şekilde ayarlayarak, bu yöntemlerin gerçek zamanda çalışır hale getirilmesi üzerine incelemeler yaptık. Aynı zamanda ek bir girdiye ihtiyaç olmadan doğrudan konuşma sinyalleri ile üst–vücut jestlerini sentezlemeye odaklandık. Jest ifadeleri, hareket yakalama verilerinden elde edilen beden devinim örüntülerine karşılık gelir ve üst–vücut animasyonlarının oluşturulmasında kullanılır. Kullandığımız yöntemde jest ifadelerinin seçilmesi işlemi, konuşmadan çıkarılan bürün özniteliklerini kullanarak önceden eğitilmiş yarı saklı-Markov modeli ile yürütülür. Gerçek zamanda oluşturulan animasyonları özgün yöntemle elde edilen animasyonlarla karşılaştırmak üzere hem nesnel hem de öznel ölçütler kullandık. Nesnel değerlendirme için, gerçek zamanda oluşturulan animasyonlar ile özgün yöntemle oluşturulan animasyonların çerçeve bazında ne kadar çakıştığını ölçtük. Öznel değerlendirmelerde ise A/B ikili karşılaştırma sınamasını kullandık. Hem nesnel hem de öznel değerlendirme sonuçlarının gösterdiği üzere sistemimiz gerçek zamanda gerçekçi ve doğal konuşma sürümlü jest animasyonları üretebilmektedir.
Özet (Çeviri)
Gesticulation, which includes instinctive or planned hand, arm and head body gestures, is an essential component of face-to-face communication. Gesture and speech co-exist in time with a tight synchrony, and they are planned and shaped by the emotional state and produced together. In our early studies we have developed joint gesture-speech models and proposed algorithms for speech driven gesture animation. These algorithms are mainly based on Viterbi decoders and can not run in realtime. In this thesis we investigate real-time implementation of these algorithms via optimal adjustment of the parameters in the Viterbi algorithm and focus on synthesizing upper body gestures in real-time, directly from speech signals without need for additional input. Our framework generates upper body gesture animations by selecting gesture phrases, which are defined in terms of body motion extracted from motion capture data. The selection is driven by a pre-trained hidden semi-Markov model (HSMM) which uses prosody features extracted from speech. Experimental evaluations are performed to compare realtime and non-realtime speech driven gesture animations using both objective and subjective evaluations. Objective evaluations quantify the similarity between gesture phrases over the frames of the corresponding animations. Subjective evaluations are performed with A/B pair comparison test. The experimental results confirm that our system is able to produce realistic and compelling speech-driven body gestures in real-time.
Benzer Tezler
- Automated speech driven lipsynch facial animation for Turkish
Türkçe ses eşzamanlı yapay yüz canlandırma
ZEKİ MELEK
Yüksek Lisans
İngilizce
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. LALE AKARUN
- Deep learning approaches for vocal tract boundary segmentation in rtMRI
MRI videolarında ses yolu kontur bölütlemesi için derin öğrenme yaklaşımları
SASAN ASADIABADI
Doktora
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Prof. Dr. ENGİN ERZİN
- Smart lecture: Extensible and scalable learning application using web service technology
Akıllı sınıf: Web servis teknolojisi kullanan genişletilebilir ve ölçeklenebilir bir öğrenme uygulaması
ILYAS CHENOUF
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
Assist. Prof. Dr. TAMER UÇAR
- Detector-driven speech background noise removal with convolutional networks
Saptayıcı-güdümlü konuşma arka planı gürültüsünün evrişimsel ağlar ile giderilmesi
CEM AYAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYaşar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ARMAN SAVRAN
- Homomorfik filtreleme ile EKG analizi
Başlık çevirisi yok
HÜSEYİN HIZ
Yüksek Lisans
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET KORÜREK