Geri Dön

Simulation of Turkish lip motion and facial expressions in A 3D enviroment and synchronization with a Turkhish speech engine

Türkçe dudak hareketlerinin ve yüz ifadelerinin 3 boyutlu ortamda benzetimi ve bir Türkçe ses makinesiyla eş zamanlı hale getirilmesi

  1. Tez No: 153475
  2. Yazar: ERDEM AKAGÜNDÜZ
  3. Danışmanlar: PROF. DR. UĞUR HALICI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: 3 Boyutlu nesne morfu, insan yüzü canlandırması, dudak hareketleri, dudak/ses eşzamanlaması, yüz ifadelerinin benzetimi. VI, 3D facial modeling, facial animation, lip motion, lip/speech synchronization, facial expression simulation. IV
  7. Yıl: 2004
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 114

Özet

oz TÜRKÇE DUDAK HAREKETLERİNİN ve YÜZ İFADELERİNİN 3 BOYUTLU ORTAMDA BENZETİMİ VE BİR TÜRKÇE SES MAKİNASIYLA EŞ ZAMANLI HALE GETİRİLMESİ Akagündüz, Erdem Yüksek Lisans, Elektrik Elektronik Mühendisliği Bölümü Tez Yöneticisi: Prof. Dr. Uğur Halıcı Ocak 2004, 100 sayfa Bu tezde, Türkçe dudak hareketlerinin ve yüz ifadelerinin 3 boyutlu ortamda canlandırılması ve bir türkçe ses makinasıyla eş zamanlanması üzerinde çalışılmıştır. Bu çalışmada Java programlama dili, JAVA3D 3 boyutlu ortam kütüphanesi ve Java Speech API ara birimini kullanılmıştır. Türkçe dudak hareketlerini ve yüz ifadelerini canladıran, 3 boyutlu bir bezetim modeli geliştirilmiştir. Dudak hareketlerine ek olarak, bir Türkçe ses makinası kullanılarak dudak hareketleri ve Tükçe konuşma eş zamanlı hale getirilmiştir. Çalışmanın çıktısı yüz ifadeleriyle birleştirilmiş eş zamanlı Türkçe dudak hareketi ve Türkçe konuşma olup, girdisi yüz ifadelerini de betimleyen Java Konuşma Modelleme Dili (JSML) yapısında Türkçe metin olmaktadır. Diğer birçok dilden farklı olarak, Türkçe'de kelimeler kolayca hecelerine ayrılmaktadır. Türkçenin bu özelliği, Türkçe konuşma yüz modellerini Türkçe yazılımetine basit bir yöntemle eşleştirmemizi sağlamıştır. Bu yöntemde Türkçe dudak hareketlerini temsil etmek için toplam 37 Türkçe konuşma yüz modeli kullanılmış ve bu eşleştirme işlemi sırasında hece yapıları göz önünde bulundurulmuştur. Canlandırma JAVA3D API kullanılarak oluşturulmuştur. Aynı kişiye ait değişik dudak hareketlerine karşılık gelen yüz modelleri birbirlerine morf edilerek canlandırma oluşturulmuştur. Ayrıca, canlandırmanın içinde duygusal yüz ifadelerinin benzetimi yapılmıştır. Bir yüz ifadesinin ne kadar ağırlıkta verildiğini temsil eden ifade ağırlığı parametresi tanımlanmıştır. CloudGarden® şirketinin Java Speech API ara birimi kullanılarak Türkçe ses makinası dudak hareketleri ile eşzamanlı hale getirilmiştir. Son olarak Türkçe dudak hareketlerini ve duygusal yüz ifadelerinin benzetimini yapan bir sanal Türkçe konuşmacı, JAVA3D canlandırmasında oluşturulmuştur.

Özet (Çeviri)

ABSTRACT SIMULATION OF TURKISH LIP MOTION AND FACIAL EXPRESSIONS IN A 3D ENVIRONMENT AND SYNCHRONIZATION WITH A TURKISH SPEECH ENGINE Akagündüz, Erdem M.Sc, Deparment of Electrical and Electronics Engineering Supervisor: Prof. Dr. Uğur Halıcı January 2004, 100 pages In this thesis, 3D animation of human facial expressions and lip motion and their synchronization with a Turkish Speech engine using JAVA programming language, JAVA3D API and Java Speech API, is analyzed. A three-dimensional animation model for simulating Turkish lip motion and facial expressions is developed. In addition to lip motion, synchronization with a Turkish speech engine is achieved. The output of the study is facial expressions and Turkish lip motion synchronized with Turkish speech, where the input is Turkish text in Java Speech Markup Language (JSML) format, also indicating expressions. Unlike many other languages, in Turkish, words are easily broken up into syllables. This property of Turkish Language lets us use a simple method to map letters to Turkish visual phonemes. In this method, totally 37 face models are used to represent mthe Turkish visual phonemes and these letters are mapped to 3D facial models considering the syllable structures. The animation is created using JAVA3D API. 3D facial models corresponding to different lip positions of the same person are morphed to each other to construct the animation. Moreover, simulations of human facial expressions of emotions are created within the animation. Expression weight parameter, which states the weight of the given expression, is introduced. The synchronization of lip motion with Turkish speech is achieved via CloudGarden®'s Java Speech API interface. As a final point a virtual Turkish speaker with facial expression of emotions is created for JAVA3D animation.

Benzer Tezler

  1. Farklı irtifalara göre tasarlanmış aerospike lülelerin çeşitli irtifalarda performans karşılaştırması

    Designed for different altitudes at various altitude of aerospike nozzles performance comparison

    BARTU AKMAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Havacılık ve Uzay Mühendisliğiİstanbul Teknik Üniversitesi

    Savunma Teknolojileri Ana Bilim Dalı

    PROF. DR. AYDIN MISIRLIOĞLU

  2. Modeling and simulation of oil leakage in radial lip seals

    Radyal dudaklı sızdırmazlık elemanlarında yağ kaçağının modellenmesi ve simulasyonu

    MELTEM YILDIZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2010

    Makine MühendisliğiOrta Doğu Teknik Üniversitesi

    Makine Mühendisliği Bölümü

    PROF. DR. METİN AKKÖK

  3. Sonlu elemanlar yöntemi ile bir dinamik sızdırmazlık elemanının simülasyonu ve deneysel doğrulaması

    Simulation of a dynamic seal by finite element method and experimental validation

    İSMAİL SARAÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Mühendislik BilimleriBursa Uludağ Üniversitesi

    Otomotiv Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT YAZICI

  4. Kamuflaj tedavisi görmüş iskeletsel sınıf ıı sınır vakalarında ortognatik cerrahi simülasyonu: Dentofasiyal değişikliklerin öngörülebilirliği

    Simulation of orthognathic surgery in camouflage treated skeletal class ii borderline cases: Predictability of dentofacial changes

    MUSTAFA ŞAHİN

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2024

    Diş HekimliğiÇukurova Üniversitesi

    Ortodonti Ana Bilim Dalı

    DOÇ. DR. FUNDA GÜLAY KADIOĞLU