A gaze-centered multimodal approach to face-to-face interaction
Yüz yüze iletişime bakış merkezli çok modlu yaklaşım
- Tez No: 611880
- Danışmanlar: DOÇ. DR. CENGİZ ACARTÜRK, DOÇ. DR. SİNAN KALKAN
- Tez Türü: Doktora
- Konular: Mühendislik Bilimleri, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Engineering Sciences, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Göz izleme, Konuşma etiketleme, Yüz yüze iletişim, Çok değişkenli zaman serileri, Öbekleme teknikleri, Eye tracking, Speech labeling, Face to face communication, Multivariate time series, Computational methods
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yüz yüze iletişim, doğası gereği, etkileşimin, hem sözsel hem de sözsel olmayan sinyallerini içeren çok modlu bir yaklaşımla karakterize edilmesini gerektirir. Bakış, iletişim sürecinde, sosyal hedeflere ulaşmada kilit rol oynayan sözsüz bir ipucudur. Bu çalışmanın amacı iki yönlüdür: (i) bakış davranışını (göz kaçırma ve yüze bakma) yüz yüze iletişimdeki bakış ve konuşma arasındaki ilişkilerle incelemek, (ii) bakış davranışlarını tahmin etmek için, üst seviye konuşma özellikleri kullanan hesaplamalı modeler oluşturmak. Çiftlerin (mülakatı yapan bir profesyonel ve iş başvurusu yapan aday) sahte iş görüşmeleri yaptığı iş görüşmeleri ayarladık. Deneyde anadil konuşanlarından oluşan 28 çift yer aldı. İki göz izleme gözlüğü, çevredeki görüntü, ses ve katılımcıların baktıkları pozisyonları kaydetti. İlk amaca yönelik olarak, yüz izlemede kullanılan görüntü, göz izleme cihazlarından bakış ve konuşma segmentasyonunda kullanılan sesi içeren, çok modlu verilerin analizleri için MAGiC (İletişimde Bakışları Analiz Etmek için Çok Modlu Çerçeve) adlı açık kaynaklı bir çerçeve geliştirdik. Konuşmayı iki yöntemle etiketledik: (i) Diyalog Eylemi Etiketleme için ISO 24617-2 standardı ve (ii) sosyal bağlamda bakış davranışlarını inceleyen önceki çalışmalarda kullanılan etiketleri kullanma. Daha sonra her iki etiketleme yöntemini kullanarak iki CNN mimarisinin, VGGNet ve ResNet, basitleştirilmiş versiyonlarını eğittik.
Özet (Çeviri)
Face-to-face conversation implies that interaction should be characterized as an inherently multimodal phenomenon involving both verbal and nonverbal signals. Gaze is a nonverbal cue that plays a key role in achieving social goals during the course of conversation. The purpose of this study is twofold: (i) to examine gaze behavior (i.e., aversion and gaze on face) and relations between gaze and speech in face to face interaction, (ii) to construct computational models to predict gaze behavior using high-level speech features. We employed a job interview setting, where pairs (a professional interviewer and an interviewee) conducted mock job interviews. Twenty-eight pairs of native speakers took part in the experiment. Two eye-tracking glasses recorded the scene video, the audio and the eye gaze position of the participants. To achieve the first purpose, we developed an open-source framework, named MAGiC (A Multimodal Framework for Analyzing Gaze in Communication), for the analyses of multimodal data including video recording data for face tracking, gaze data from the eye trackers, and the audio data for speech segmentation. We annotated speech with two methods: (i) ISO 24617-2 Standard for Dialogue Act Annotation and, (ii) using tags employed by the previous studies that examined gaze behavior in a social context. We then trained simplified versions of two CNN architectures (VGGNet and ResNet) by using both speech annotation methods.
Benzer Tezler
- HUMAN-CENTERED PROCEDURAL KNOWLEDGE LEARNING FROM INSTRUCTIONAL VIDEOS
ÖĞRETİCİ VİDEOLARDAN İNSAN MERKEZLİ PROSEDÜREL BİLGİ ÖĞRENİMİ
MUHAMMET FURKAN İLASLAN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNatıonal Unıversıty Of Sıngapore (nus)Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MİKE ZHENG SHOU
DR. QİANLİ XU
- Çağdaş destansı geçmişe yolculuk: Ulis'in Bakışı filminin anlatıbilimsel çözümlenmesi
A journey into the contemporary epic past: A narratological analysis of Ulysses' Gaze
EMİRHAN GÖKDUMAN
Yüksek Lisans
Türkçe
2025
İletişim BilimleriGalatasaray ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
DOÇ. DR. NEBAHAT AKGÜN ÇOMAK
- Computational modeling of theory of mind: A Bayesian analysis of demonstrative use
Zihin kuramının hesaplamalı modellenmesi: Göstergeç kullanımının Bayesçi analizi
ALAZ AYDIN
Doktora
İngilizce
2025
PsikolojiOrta Doğu Teknik ÜniversitesiBilişsel Bilim Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. MURAT PERİT ÇAKIR
- Bir bakış mekanı olarak pencere: Edward Hopper'ın resimlerinde mekan temsilleri
The window as a space of view: Representations of space in Edward Hopper's paintings
HAZAL ŞİMAL KARATAY
Yüksek Lisans
Türkçe
2022
Mimarlıkİstanbul Kültür ÜniversitesiMimarlık Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İLKE TEKİN
- “Temiz”Türk kızlarına nasihatler: Türkçe romanlarda kadına yönelik bir ceza mekanizması olarak frengi
Advice to“Pure”Turkish girls: Syphilis as a punishment mechanism against women in Turkish novels
İLAYDA ENGİN UYSAL
Yüksek Lisans
Türkçe
2024
Türk Dili ve EdebiyatıBoğaziçi ÜniversitesiTürk Dili ve Edebiyatı Bilim Dalı
DOÇ. DR. ZEYNEP UYSAL