Geri Dön

Automated speech driven lipsynch facial animation for Turkish

Türkçe ses eşzamanlı yapay yüz canlandırma

  1. Tez No: 90620
  2. Yazar: ZEKİ MELEK
  3. Danışmanlar: DOÇ. DR. LALE AKARUN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Bilgisayarlar, Ses analizi, İnsan yüzü, Computers, Voice analysis, Human face
  7. Yıl: 1999
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

IV ÖZET Üç boyutlu insan modellerinin konuşması canlandırmada olduğu kadar insan- bilgisayar iletişiminde de giderek daha sık kullanılmaktadır. Konuşmanın üç boyutlu yüz modeli ile ağız eşzamanlaması genelde grafik animatörlerce yapılan uzun ve mekanik bir işlemdir. Otomatik ağız eşzamanlı yüz animasyonu için çeşitli çalışmalar yapılmıştır. Bu tip çalışmalar genelde yazı tabanlı olmaktadır. Biz bu çalışmamızda sesi girdi olarak kullandık. Seslendirenin kaydedilen sesi verilen üç boyutlu yüz modelinde dudak hareketlerine çevrilmektedir. Bunu için kaydedilen ses analiz edilip eğitim kümesi ile karşılaştırılarak dudak hareketine sınıflandırılmaktadır. Yüz modelimizde dudak hareketleri yüz kasları ve çene kullanılarak yapılır. Üç boyutlu yüz modelimiz üzerine insan yüzünün fiziksel kas yapısı dikkate alınarak yüz kasları modellendi. Gerçekçi yüz animasyonu için insan yüzünü oluşturan deri, yağ, kas ve kemik katmanları da modellenerek aralarındaki etkileşimler hesaplandı. Oldukça hızlı bir şekilde doğal görünüşlü canlandırma yapılabilmektedir. Gerçek zamanlı çalışan kırpılmış bir canlandırma motoru da hazırlanmıştır.

Özet (Çeviri)

in ABSTRACT Talking three-dimensional (3D) synthetic faces are now used in many applications involving human-computer interaction. The lip-synchronization of the faces is mostly done mechanically by computer animators. Although there is some work done on automated lip- synchronized facial animation, these studies are mostly based on text input. In our work we used speech in Turkish as an input to generate lip-synchronized facial animation. Speakers' recorded voice is converted into lip-shape classes and applied to the 3D model. Voice is analyzed and classified using a training set. Lip animation is facilitated by activating facial muscles and the jaw. Facial muscles are modeled onto our facial model. For more realistic facial animation, facial tissue is modeled as well, and the interactions between epidermis, subcutenous layer and bone are taken into account. High-speed natural-looking lip- synchronized facial animation is achieved. A real-time version of the engine is also implemented.

Geri Dön