Geri Dön

Automated speech driven lipsynch facial animation for Turkish

Türkçe ses eşzamanlı yapay yüz canlandırma

  1. Tez No: 90620
  2. Yazar: ZEKİ MELEK
  3. Danışmanlar: DOÇ. DR. LALE AKARUN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 1999
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 66

Özet

IV ÖZET Üç boyutlu insan modellerinin konuşması canlandırmada olduğu kadar insan- bilgisayar iletişiminde de giderek daha sık kullanılmaktadır. Konuşmanın üç boyutlu yüz modeli ile ağız eşzamanlaması genelde grafik animatörlerce yapılan uzun ve mekanik bir işlemdir. Otomatik ağız eşzamanlı yüz animasyonu için çeşitli çalışmalar yapılmıştır. Bu tip çalışmalar genelde yazı tabanlı olmaktadır. Biz bu çalışmamızda sesi girdi olarak kullandık. Seslendirenin kaydedilen sesi verilen üç boyutlu yüz modelinde dudak hareketlerine çevrilmektedir. Bunu için kaydedilen ses analiz edilip eğitim kümesi ile karşılaştırılarak dudak hareketine sınıflandırılmaktadır. Yüz modelimizde dudak hareketleri yüz kasları ve çene kullanılarak yapılır. Üç boyutlu yüz modelimiz üzerine insan yüzünün fiziksel kas yapısı dikkate alınarak yüz kasları modellendi. Gerçekçi yüz animasyonu için insan yüzünü oluşturan deri, yağ, kas ve kemik katmanları da modellenerek aralarındaki etkileşimler hesaplandı. Oldukça hızlı bir şekilde doğal görünüşlü canlandırma yapılabilmektedir. Gerçek zamanlı çalışan kırpılmış bir canlandırma motoru da hazırlanmıştır.

Özet (Çeviri)

in ABSTRACT Talking three-dimensional (3D) synthetic faces are now used in many applications involving human-computer interaction. The lip-synchronization of the faces is mostly done mechanically by computer animators. Although there is some work done on automated lip- synchronized facial animation, these studies are mostly based on text input. In our work we used speech in Turkish as an input to generate lip-synchronized facial animation. Speakers' recorded voice is converted into lip-shape classes and applied to the 3D model. Voice is analyzed and classified using a training set. Lip animation is facilitated by activating facial muscles and the jaw. Facial muscles are modeled onto our facial model. For more realistic facial animation, facial tissue is modeled as well, and the interactions between epidermis, subcutenous layer and bone are taken into account. High-speed natural-looking lip- synchronized facial animation is achieved. A real-time version of the engine is also implemented.

Benzer Tezler

  1. Multimodal analysis and synthesis of affective human body gestures from speech prosody

    Konuşma bürününden duygu yüklü insan beden jestleri çok kipli analizi ve sentezi

    ELİF BOZKURT

    Doktora

    İngilizce

    İngilizce

    2016

    Elektrik ve Elektronik MühendisliğiKoç Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ENGİN ERZİN

  2. An artificial intelligence based frameworkfor fraud detection in cloud call centers forlow-resourced languages Arabic as a use case

    Kullanım örneği olarak düşük kaynaklı Arapça dilleri için bulut çağrı merkezlerinde sahtecilik tespitine yönelik yapay zeka tabanlı bir çerçeve

    HANA'A MARATOUQ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. PINAR SARISARAY BOLUK

  3. Detector-driven speech background noise removal with convolutional networks

    Saptayıcı-güdümlü konuşma arka planı gürültüsünün evrişimsel ağlar ile giderilmesi

    CEM AYAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYaşar Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ARMAN SAVRAN

  4. Deep learning approaches for vocal tract boundary segmentation in rtMRI

    MRI videolarında ses yolu kontur bölütlemesi için derin öğrenme yaklaşımları

    SASAN ASADIABADI

    Doktora

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiKoç Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    Prof. Dr. ENGİN ERZİN