Geri Dön

Kullanıcı kesitleriyle yüz ifadelerini analiz eden bir çoklu etmen sistemi uygulaması

A Multi agent system application analyzing facial expressions with user profiles

  1. Tez No: 126968
  2. Yazar: SANEM SARIEL
  3. Danışmanlar: DOÇ. DR. B. TEVFİK AKGÜN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2002
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 153

Özet

ÖZET İletişimin en önemli araçlarından biri olan yüz ifadelerinin analizi, sosyal bilimlerin en çok ilgi çeken konularından biridir. Bu konu, bilgisayar mühendisliği açısından da oldukça geniş bir çalışma alanı yaratmıştır. Yüz ifadelerinin tanınması ve yeniden oluşturulması gibi uygulamalar için yürütülen analiz çalışmaları oldukça önem taşımaktadır. Bu tez çalışmasının amacı, çeşitli durumlar için yüz ifadesindeki genel parametrik değerleri belirleyen bir sistem sunmaktır. Bu amacı gerçeklemek üzere toplum kesitine ilişkin yüz ifadelerinin oluşturulabilmesi için bir çoklu etmen sistemi tasarlanmıştır. Çoklu etmen sistemindeki tüm birimler birbirleri ile etkileşim halindedir. Sistem, kullanıcıları temsil eden Kullanıcı Arayüz Birimleri, hazır bir Grafiksel Yüz Animasyon Programı, bir Bölütleme Etmeni ve çoklu etmen sistemini gerçeklemek üzere etmen oluşturma aracı bileşenlerinden oluşur. Etmen oluşturma aracı olarak JATLite ve bileşenleri kullanılmıştır. Sistem, çalışması sonucunda topluma ilişkin genel bilgiler ile tek tek kullanıcılara ilişkin yerel inançları oluşturulabilmektedir. Sistemde işlenen veriler, yüz ifadelerine ilişkin parametrelerdir. Toplum kesitleri ve yerel etmen inançları oluşturulmak üzere kullanıcıların çizimleri ve diğer kullanıcı çizimlerine verdikleri puanlar değerlendirilmektedir. Her bir kullanıcı, kendisine atanan Kullanıcı Arayüz Birimi ile etkileşim kurar. Grafiksel Yüz Animasyon Programı, tüm parametrik yüz ifadelerini kullanıcıya gösterebilmek için kullanılmıştır. Kullanıcı Arayüz Birimi, reaktif nesneler ve temel bir birim olarak Kullanıcı Arayüz Etmenini içerir. Kullanıcı Arayüz Etmeni, çoklu etmen sistemi içinde etkileşimi sağlar. Etmenler arası iletişim, KQML mesajlarının alış verişi ile gerçeklenmektedir. Etmenlere ilişkin tüm kayıtlar JATLite yönlendirici bileşeni tarafından tutulur. Etmenler, sisteme dahil olabilmek için yönlendiriciye kullanıcı adı ve şifresi ile kaydolurlar. Etmenler, KQML mesaj içerikleri konusunda önceden belirledikleri bir protokole göre el sıkışmış olmalıdır. Bu işlem, sistem ontolojisinin belirlenmesi olarak değerlendirilir. Sistemdeki tüm parametre değerlerini toplayıp analiz eden birim, Bölütleme Etmenidir. Bölütleme Etmeni, sistemin en akıllı birimi olarak hem öğrenme hem de bölütleme süreçlerini gerçekler. Bölütleme süreci öncesinde parametre ağırlıklarının belirlendiği öğrenme süreci gerçeklenir. Bölütleme Etmeni öğrenme sürecinde Q öğrenmesi yöntemini kullanır. Sistemdeki tüm kullanıcılar, öğrenme sürecine dahil olur ve Bölütleme Etmeni tarafından üretilen yüz ifadeleri için eleştirmen olarak görev yapar. Bölütleme sürecinde bir veri örneği içindeki her bir parametre farklı bir boyut belirtir. Bölütleme süreci için FCM, Complete-link ve Single-link algoritmalarından herhangi biri seçilebilir. Bölütleme sonuçları, tekil yüz ifadeleri veya çeşitli örneklerin aralıklı gösterilmesi ile oluşturulan yüz animasyonları şeklinde ifade edilir. XIIIBu tez çalışması, Java sınıflan paketlerinden oluşur. Temel birimler, sistemin temel sınıflarını oluşturur. Bu sınıflar etkin çalışabilmek üzere çok sayıda alt sınıfı canlandırır. Hem birim içi sınıflar arasında hem de etmenler arasında etkileşime imkan tanıyan kapsamlı bir sistem gerçeklenmiştir. XIV

Özet (Çeviri)

A MULTI AGENT SYSTEM APPLICATION ANALYZING FACIAL EXPRESSIONS WITH USER PROFILES SUMMARY Analyzing facial expression, an important tool of human communication, is one of the most attractive field of social sciences. Analysis of human face and facial expressions is also important for computational efforts. Many applications have one of the requirements of either the recognition of faces of persons or the reconstruction of faces. Some researchers in the fields of computer graphics and pattern recognition have proposed many works including analyzing and synthesizing facial image sequences, talking facial display generation by analyzing visemes, and facial expression analysis by using FACS coding system. In this work, a multi agent system is presented to generate society profile about facial expressions. The overall system work is done by cooperating agents living in the system. The aim of the work is to use the designed system to determine some control parameters of an animated face for some situations. The information processed in the system is the parameters related to facial expressions. The parameters are processed for generating general society profile and local agent beliefs according to the facial expressions generated by the users and the grades assigned to the expressions. Consequently, general society profile and some exception situations related to facial expressions are represented by clusters. The system consists of users, User Interface Units consisting User Interface Agents communicating with users, The Clustering Agent responsible for generating society profile, existing multi agent system library and architecture components. The JATLite is used as an agent construction tool. The User Interface Agents are constructed as JATLite agents. Each agent has ability to communicate with the Router and the other agents in the system. The User Interface Agent interacts with its user to collect information about the facial expressions related to some questions. It has reactive objects inside it. Each reactive object is responsible for a special muscle parameter. An Agent Server (server of the reactive objects) is implemented in The User Interface Unit to organize behaviors of the reactive objects on the environment. The effects of the reactive objects can be observed from a text file. This text file contains information about facial muscle parameters. The parameters are stored as left and right Zygomatic_Major, left and right Angular_Depressor, left and right Frontalisjnner, left and right Frontalis_Major, left and right Frontalis_Outer, left and right Labi_Nasi, left and right lnner_Labi_Nasi, left and right Lateral_Corigator, left and right Secondary_Frontalis which are related muscle names. The text file is read at certain time intervals by a Graphical Facial Animation Program. This program generates facial expressions related to the parameters written on the text file. This program, an open source C implementation, was used as a facial generator in the thesis work. Some manipulations were needed on this program for the designed system. The original program uses parameters changed by the user with keyboard instructions. It xvuses the Glaux Library which does not support the timer function. In the system, the parameter values should be changed by user interrupts. The text file consisting of facial parameters is updated according to these interrupts. Therefore, new facial parameters should be read at certain time intervals to show the updates on the facial model. Timer function should have been added to implement this work. So the program is converted to use Glut Library consisting the timer function and supporting the texture mapping. The work of reactive objects and The Agent Server unit plays an important role on generating user profile. The reactive objects and The Agent Server communicate on sockets created by The Agent Server for each reactive object. The communication between the reactive objects and The Agent Server is synchronous. Therefore, a communication subsystem is implemented in The User Interface Agent. The User Interface Agent related to a user communicates with the other agents in the system by means of a AgentJATLite Server unit. Each coming KQML message is processed by this unit. The information transfer process is ensured by this unit. All The User Interface Unit components must work at a organizational level. The information about other users must be shown to the user and the grade assigned by the user must be taken correctly. The AgentJATLite Server unit registers itself to the multi agent environment by a usemame and a password. After registration, it connects to the system. Every agent in the system has an influence constant which determines how much this agent is influenced by the other agents in the system. After determining the user profile and grading some other facial expressions drawn by the other users, The User Interface Agent can generate its own beliefs. The beliefs of the agents are generated by the own profile and the information of the other users and the related grades. These beliefs are formed as results of The Clustering Process. The clustering process can be implemented by FCM, Complete-link and Single-link algorithms. All of these algorithms are implemented and compared to each other in the proposed system. The JATLITE Router, the address of which all of the agents registering to the system should know, is alive during the system work. Every User Interface Agent registers and connects to this unit to play a role in the multi agent environment. Communication in the environment can be implemented both synchronously and asynchronously. All messaging processes are implemented by JATLite Router unit. Each AgentJATLite Server is responsible for processing these messages. So handshaking must be implemented about all the message commands. This determines the ontology. In the designed system a messaging protocol is implemented and the messages are processed effectively, and the contents are processed according to the performatives and the commands. The listing of existing registered and connected agents service is provided by the JATLite Router. This facilitates the agents to be informed about the other agents in the system. Therefore direct or indirect (through The Router) connections between agents are implemented. The Clustering Agent is an intelligent unit in the multi agent environment. This unit collects all the users information and analyzes it. The Clustering Agent clusters all the data samples by using the FCM, Complete-link and Single-link algorithms. The data samples are the arrays of facial parameters having eighteen dimension. Each parameter indicates a value on each dimension. This clustering process is implemented effectively by using weight values for each parameter. A learning process is implemented for these weight values to be calculated. Q Learning method is used for this process. XVIAll the agents play a role in the learning process. The users act as critics for the learner in the environment. The Clustering Agent has ability to generate some facial expressions according to the states of the learning process. The states are modeled as parameter weight arrays. A facial expression is generated related to the new state. Each new facial expression is sent to a User Interface Agent. The user of the current User Interface Unit grades this facial expression. This grade is sent as a reply to The Clustering Agent. The Clustering Agent uses this information and the expected value to generate the reward of the environment. By using this reward value and the previous Q values, the new Q values are calculated. The Q values are updated at each grading step. After many steps, the Q values of some states regularly increase more than the other states. These states correspond to the learned parameter weights. This learning process is performed for each situation. The user society is a dynamic and non-deterministic environment. Because different users assign different grades to the same facial expression, the same state and the action pair does not result from the same reward. To implement the learning task, many trials are needed. After learning parameter weights, The Clustering Agent broadcasts this information to all of the agents in the system. Therefore the consistency of parameter weights is ensured. If an agent can not get the message containing parameter weights, it can request this information from any agent in the system. The clustering process is implemented on the data samples by using the learned parameter weights. The clustering results are different for different clustering methods. All the clustering methods forms optimum number of clusters of data samples. In the FCM as a partitional algorithm, data samples are assigned to the clusters by membership values. The algorithm runs by making iterations on the cluster assignments. The final results are obtained after some iterations. The final membership values of data samples are ranged between [0,1]. The defuzzification process can be implemented on the results. The final results are cluster centers and the membership matrices of the data samples. These results are stored in text files for further analyses. The clustering process starts with that each data sample is a cluster in the Complete-link and the Single-link algorithms. The algorithms work by merging of clusters effectively. The difference between the Complete-link and The Single-link algorithm is in the calculation of inter-cluster distances. The final dendograms can be cut at the level having optimum cluster numbers. The final membership values are stored in text files. The final clustering results can be shown to user as facial expressions or facial animations (sequential show of facial expression samples) consisting some samples in clusters. This thesis, is implemented as packages of Java classes. The main units are implemented as the main classes of the system. These classes invoke many subclasses to work effectively. A complex system having interactions among agents and among subclasses of agents is designed, and an effective multi agent system analyzing facial expressions is presented. XVII

Benzer Tezler

  1. Tez No

    350425

    Seismic rehabilitation of columns with corroded reinforcing bars through practical interventions

    Donatıları korozyona uğramış betonarme kolonların deprem performanslarının basit müdahelelerle iyileştirilmesı

    POOYA GHAFFARİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. ALPER İLKİ

  2. Tez No

    152272

    A multi - factor analysis model to determine the use value of enclosed outdoor spaces

    Binalarla tanımlanmış dış mekanların kullanım değerini saptamaya yönelik çok faktörlü bir analiz modeli

    DİLEK YILDIZ

    Doktora

    İngilizce

    İngilizce

    2004

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. HASAN ŞENER

  3. Tez No

    72186

    Çatalca merkez ve köylerinde kadın başlıkları

    Başlık çevirisi yok

    İMAM BAKIR DEMİRKUL

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Halk Bilimi (Folklor)İstanbul Teknik Üniversitesi

    Türk Halk Oyunları Ana Sanat Dalı

    DOÇ. ŞENEL ÖNALDI

  4. Tez No

    299904

    Tomris Uyar'ın öykücülüğü

    Tomris Uyar as a story writer

    ESMA KADIZADE

    Doktora

    Türkçe

    Türkçe

    2011

    Türk Dili ve EdebiyatıÇukurova Üniversitesi

    Türk Dili ve Edebiyatı Ana Bilim Dalı

    PROF. DR. MUSTAFA APAYDIN

  5. Tez No

    196138

    Santral retinal arter santral retinal ven ve oftalmik arterin normal doppler parametreleri

    Normal doppler parameters of the central retinal artery central retinal vein and ophthalmic artery

    MÜRÜVET AKIN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2007

    RomatolojiCumhuriyet Üniversitesi

    Radyoloji Ana Bilim Dalı

    Y.DOÇ.DR. HULUSİ EĞİLMEZ

Geri Dön