Automatic deceit detection through multimodal analysis of speech videos
Konuşma videolarının çok-kipli analiziyle otomatik aldatma tespiti
- Tez No: 761638
- Danışmanlar: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 96
Özet
Bu çalışmada, evrişimsel özdikkat birimlerinin uzamsal gösterim öğrenmede kullanılmasını ve transformatör ağlarının konuşma modellerinin omurgasını oluşturmasını öneriyoruz. Tasarladığımız derin ağ görsel, ses, ve konuşma kipi bazlı derin ağ eğitimi ve gösterim öğrenimi yaptıktan sonra elde ettiği kip gösterimlerini füzyona uğratarak bu kanallardan gelen bilgiyi birleştirmektedir. Deneysel çalışmaların sonucunda, tasarlanan derin ağ ile literatürde popüler Real-Life Trial (RLT) veri tabanı üzerinde yapılan tüm çalışmaları geçen bir performans elde edilmiştir. Dahası, önerdiğimiz model, yeni topladığımız çok-kipli, kontrolsüz şartlarda düşük riskli senaryolar içeren ve doğruluk araştırmalarıyla etikenlenmiş PoliDB isimli veri tabanı üzerinde de yüksek sınıflandırma performansı göstermiştir. Yaptığımız analiz sonunda (1) evrişimsel özdikkat birimlerinin aldatma tespiti için anlamlı gösterimleri, diğer alternatiflere göre üç kata kadar daha az parametre kullanarak elde ettiğini gösteriyor; (2) izlenimsel aldatma niyetinin sürekli bir fonksiyon olduğunu ve videolar süresince her zaman biriminde aynı değerde yada miktarda aldatıcı davranış görülmediğini gösteriyor; (3) elde ettiğimiz bulgular, gözlenen davranışların birbirinden bağımsız olarak incelenmesinin aldatıcı niyeti tespit etmek için güvenilir bir bilgi kaynağı olmadığını işaret ediyor.
Özet (Çeviri)
In this study we propose the use of self-attention for spatial representation learning, while explore transformers as the backbone of our speech model for inferring apparent deceptive intent based on multimodal analysis of speech videos. The proposed model applies separate modality-specific representation learning from visual, vocal, and speech modality representations and applies fusion afterwards to merge information channels. We test our method on the popular, high-stake Real-Life Trial (RLT) dataset. We also introduce a novel, low-stake, in-the-wild dataset named PoliDB for deceit detection; and report the first results on this dataset as well. Experiments suggest the proposed design surpasses previous studies performed on RLT dataset, while it achieves significant classification performance on the proposed PoliDB dataset. Following our analysis, we report (1) convolutional self-attention successfully achieves joint representation learning and attention computation with up to three times less number of parameters than its competitors, (2) apparent deceptive intent is a continuous function of time that can fluctuate throughout the videos, and (3) studying particular abnormal behaviors out of context can be an unreliable way to predict deceptive intent.
Benzer Tezler
- Yeni nesil haberleşme sistemleri için yeni bir zamanlama algoritmasının geliştirilmesi
Developing a radio resource scheduler for mobile systems
FATİH BURAK KOYUN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MESUT KARTAL
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Simulation of water resource recovery facilities with an open source software
Su kaynağı geri kazanım tesislerinin açık kaynak yazılım ile simülasyonu
DOĞA BİNAY
Yüksek Lisans
İngilizce
2022
Biyoteknolojiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖZLEM KARAHAN ÖZGÜN
- 10-bit 60 MS/s two-step flash ADC design
10-bit 60 MS/s iki Basamaklı flaş ADC tasarımı
VAHAP BARIŞ ESEN
Yüksek Lisans
İngilizce
2013
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNHAN DÜNDAR
- Türkiye'deki astımlı yetişkin hasta popülasyonunda serum vitamin D düzeylerinin incelenmesi
The evaluation of serum vitamin D levels in adult patient population with asthma in Turkey
ÖZGE ORHAN
Yüksek Lisans
Türkçe
2016
Eczacılık ve FarmakolojiAnkara ÜniversitesiDisiplinlerarası Ana Bilim Dalı
PROF. DR. ZELİHA BÜYÜKBİNGÖL