Automated speech driven lipsynch facial animation for Turkish
Türkçe ses eşzamanlı yapay yüz canlandırma
- Tez No: 90620
- Danışmanlar: DOÇ. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 1999
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
IV ÖZET Üç boyutlu insan modellerinin konuşması canlandırmada olduğu kadar insan- bilgisayar iletişiminde de giderek daha sık kullanılmaktadır. Konuşmanın üç boyutlu yüz modeli ile ağız eşzamanlaması genelde grafik animatörlerce yapılan uzun ve mekanik bir işlemdir. Otomatik ağız eşzamanlı yüz animasyonu için çeşitli çalışmalar yapılmıştır. Bu tip çalışmalar genelde yazı tabanlı olmaktadır. Biz bu çalışmamızda sesi girdi olarak kullandık. Seslendirenin kaydedilen sesi verilen üç boyutlu yüz modelinde dudak hareketlerine çevrilmektedir. Bunu için kaydedilen ses analiz edilip eğitim kümesi ile karşılaştırılarak dudak hareketine sınıflandırılmaktadır. Yüz modelimizde dudak hareketleri yüz kasları ve çene kullanılarak yapılır. Üç boyutlu yüz modelimiz üzerine insan yüzünün fiziksel kas yapısı dikkate alınarak yüz kasları modellendi. Gerçekçi yüz animasyonu için insan yüzünü oluşturan deri, yağ, kas ve kemik katmanları da modellenerek aralarındaki etkileşimler hesaplandı. Oldukça hızlı bir şekilde doğal görünüşlü canlandırma yapılabilmektedir. Gerçek zamanlı çalışan kırpılmış bir canlandırma motoru da hazırlanmıştır.
Özet (Çeviri)
in ABSTRACT Talking three-dimensional (3D) synthetic faces are now used in many applications involving human-computer interaction. The lip-synchronization of the faces is mostly done mechanically by computer animators. Although there is some work done on automated lip- synchronized facial animation, these studies are mostly based on text input. In our work we used speech in Turkish as an input to generate lip-synchronized facial animation. Speakers' recorded voice is converted into lip-shape classes and applied to the 3D model. Voice is analyzed and classified using a training set. Lip animation is facilitated by activating facial muscles and the jaw. Facial muscles are modeled onto our facial model. For more realistic facial animation, facial tissue is modeled as well, and the interactions between epidermis, subcutenous layer and bone are taken into account. High-speed natural-looking lip- synchronized facial animation is achieved. A real-time version of the engine is also implemented.
Benzer Tezler
- Multimodal analysis and synthesis of affective human body gestures from speech prosody
Konuşma bürününden duygu yüklü insan beden jestleri çok kipli analizi ve sentezi
ELİF BOZKURT
Doktora
İngilizce
2016
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ENGİN ERZİN
- An artificial intelligence based frameworkfor fraud detection in cloud call centers forlow-resourced languages Arabic as a use case
Kullanım örneği olarak düşük kaynaklı Arapça dilleri için bulut çağrı merkezlerinde sahtecilik tespitine yönelik yapay zeka tabanlı bir çerçeve
HANA'A MARATOUQ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR SARISARAY BOLUK
- Towards cognizant hearing aids: Modeling of content, affect and attention
Başlık çevirisi yok
SELİZ GÜLSEN KARADOĞAN
Doktora
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTechnical University of DenmarkPROF. DR. JAN LARSEN
- Detector-driven speech background noise removal with convolutional networks
Saptayıcı-güdümlü konuşma arka planı gürültüsünün evrişimsel ağlar ile giderilmesi
CEM AYAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYaşar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ARMAN SAVRAN
- Deep learning approaches for vocal tract boundary segmentation in rtMRI
MRI videolarında ses yolu kontur bölütlemesi için derin öğrenme yaklaşımları
SASAN ASADIABADI
Doktora
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Prof. Dr. ENGİN ERZİN