Simulation of Turkish lip motion and facial expressions in A 3D enviroment and synchronization with a Turkhish speech engine
Türkçe dudak hareketlerinin ve yüz ifadelerinin 3 boyutlu ortamda benzetimi ve bir Türkçe ses makinesiyla eş zamanlı hale getirilmesi
- Tez No: 153475
- Danışmanlar: PROF. DR. UĞUR HALICI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: 3 Boyutlu nesne morfu, insan yüzü canlandırması, dudak hareketleri, dudak/ses eşzamanlaması, yüz ifadelerinin benzetimi. VI, 3D facial modeling, facial animation, lip motion, lip/speech synchronization, facial expression simulation. IV
- Yıl: 2004
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
oz TÜRKÇE DUDAK HAREKETLERİNİN ve YÜZ İFADELERİNİN 3 BOYUTLU ORTAMDA BENZETİMİ VE BİR TÜRKÇE SES MAKİNASIYLA EŞ ZAMANLI HALE GETİRİLMESİ Akagündüz, Erdem Yüksek Lisans, Elektrik Elektronik Mühendisliği Bölümü Tez Yöneticisi: Prof. Dr. Uğur Halıcı Ocak 2004, 100 sayfa Bu tezde, Türkçe dudak hareketlerinin ve yüz ifadelerinin 3 boyutlu ortamda canlandırılması ve bir türkçe ses makinasıyla eş zamanlanması üzerinde çalışılmıştır. Bu çalışmada Java programlama dili, JAVA3D 3 boyutlu ortam kütüphanesi ve Java Speech API ara birimini kullanılmıştır. Türkçe dudak hareketlerini ve yüz ifadelerini canladıran, 3 boyutlu bir bezetim modeli geliştirilmiştir. Dudak hareketlerine ek olarak, bir Türkçe ses makinası kullanılarak dudak hareketleri ve Tükçe konuşma eş zamanlı hale getirilmiştir. Çalışmanın çıktısı yüz ifadeleriyle birleştirilmiş eş zamanlı Türkçe dudak hareketi ve Türkçe konuşma olup, girdisi yüz ifadelerini de betimleyen Java Konuşma Modelleme Dili (JSML) yapısında Türkçe metin olmaktadır. Diğer birçok dilden farklı olarak, Türkçe'de kelimeler kolayca hecelerine ayrılmaktadır. Türkçenin bu özelliği, Türkçe konuşma yüz modellerini Türkçe yazılımetine basit bir yöntemle eşleştirmemizi sağlamıştır. Bu yöntemde Türkçe dudak hareketlerini temsil etmek için toplam 37 Türkçe konuşma yüz modeli kullanılmış ve bu eşleştirme işlemi sırasında hece yapıları göz önünde bulundurulmuştur. Canlandırma JAVA3D API kullanılarak oluşturulmuştur. Aynı kişiye ait değişik dudak hareketlerine karşılık gelen yüz modelleri birbirlerine morf edilerek canlandırma oluşturulmuştur. Ayrıca, canlandırmanın içinde duygusal yüz ifadelerinin benzetimi yapılmıştır. Bir yüz ifadesinin ne kadar ağırlıkta verildiğini temsil eden ifade ağırlığı parametresi tanımlanmıştır. CloudGarden® şirketinin Java Speech API ara birimi kullanılarak Türkçe ses makinası dudak hareketleri ile eşzamanlı hale getirilmiştir. Son olarak Türkçe dudak hareketlerini ve duygusal yüz ifadelerinin benzetimini yapan bir sanal Türkçe konuşmacı, JAVA3D canlandırmasında oluşturulmuştur.
Özet (Çeviri)
ABSTRACT SIMULATION OF TURKISH LIP MOTION AND FACIAL EXPRESSIONS IN A 3D ENVIRONMENT AND SYNCHRONIZATION WITH A TURKISH SPEECH ENGINE Akagündüz, Erdem M.Sc, Deparment of Electrical and Electronics Engineering Supervisor: Prof. Dr. Uğur Halıcı January 2004, 100 pages In this thesis, 3D animation of human facial expressions and lip motion and their synchronization with a Turkish Speech engine using JAVA programming language, JAVA3D API and Java Speech API, is analyzed. A three-dimensional animation model for simulating Turkish lip motion and facial expressions is developed. In addition to lip motion, synchronization with a Turkish speech engine is achieved. The output of the study is facial expressions and Turkish lip motion synchronized with Turkish speech, where the input is Turkish text in Java Speech Markup Language (JSML) format, also indicating expressions. Unlike many other languages, in Turkish, words are easily broken up into syllables. This property of Turkish Language lets us use a simple method to map letters to Turkish visual phonemes. In this method, totally 37 face models are used to represent mthe Turkish visual phonemes and these letters are mapped to 3D facial models considering the syllable structures. The animation is created using JAVA3D API. 3D facial models corresponding to different lip positions of the same person are morphed to each other to construct the animation. Moreover, simulations of human facial expressions of emotions are created within the animation. Expression weight parameter, which states the weight of the given expression, is introduced. The synchronization of lip motion with Turkish speech is achieved via CloudGarden®'s Java Speech API interface. As a final point a virtual Turkish speaker with facial expression of emotions is created for JAVA3D animation.
Benzer Tezler
- Diesel motorları yakıt püskürtme sistemlerinin dinamik simülasyonu
Başlık çevirisi yok
İRFAN KARAGÖZ
Yüksek Lisans
Türkçe
1986
Makine MühendisliğiUludağ ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ BORAT
- New algorithms and techniques for microprocessor-controlled PWM induction drives
Başlık çevirisi yok
OSMAN KÜKRER
Doktora
İngilizce
1987
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. H. BÜLENT ERTAN
- Barajların hacim-verim ilişkisi üzerine bir araştırma
Başlık çevirisi yok
MEHMET KILIÇARSLAN
Yüksek Lisans
Türkçe
1987
İnşaat MühendisliğiÇukurova Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. TEFARUK HAKTANIR
- Travmatik erkek paraplojelere yüksek frekanslı TENS
Başlık çevirisi yok
SEMA ÖZTÜRK
Yüksek Lisans
Türkçe
1986
Ortopedi ve TravmatolojiGazi ÜniversitesiKazalarda Acil Yardım ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. VESİLE SEPİCİ