Automatic deceit detection through multimodal analysis of speech videos
Konuşma videolarının çok-kipli analiziyle otomatik aldatma tespiti
- Tez No: 761638
- Danışmanlar: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Davranış analitiği, Derin öğrenme, Duyusal analiz, Veri analizi, Behavioral analytics, Deep learning, Sensory analysis, Data analysis
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada, evrişimsel özdikkat birimlerinin uzamsal gösterim öğrenmede kullanılmasını ve transformatör ağlarının konuşma modellerinin omurgasını oluşturmasını öneriyoruz. Tasarladığımız derin ağ görsel, ses, ve konuşma kipi bazlı derin ağ eğitimi ve gösterim öğrenimi yaptıktan sonra elde ettiği kip gösterimlerini füzyona uğratarak bu kanallardan gelen bilgiyi birleştirmektedir. Deneysel çalışmaların sonucunda, tasarlanan derin ağ ile literatürde popüler Real-Life Trial (RLT) veri tabanı üzerinde yapılan tüm çalışmaları geçen bir performans elde edilmiştir. Dahası, önerdiğimiz model, yeni topladığımız çok-kipli, kontrolsüz şartlarda düşük riskli senaryolar içeren ve doğruluk araştırmalarıyla etikenlenmiş PoliDB isimli veri tabanı üzerinde de yüksek sınıflandırma performansı göstermiştir. Yaptığımız analiz sonunda (1) evrişimsel özdikkat birimlerinin aldatma tespiti için anlamlı gösterimleri, diğer alternatiflere göre üç kata kadar daha az parametre kullanarak elde ettiğini gösteriyor; (2) izlenimsel aldatma niyetinin sürekli bir fonksiyon olduğunu ve videolar süresince her zaman biriminde aynı değerde yada miktarda aldatıcı davranış görülmediğini gösteriyor; (3) elde ettiğimiz bulgular, gözlenen davranışların birbirinden bağımsız olarak incelenmesinin aldatıcı niyeti tespit etmek için güvenilir bir bilgi kaynağı olmadığını işaret ediyor.
Özet (Çeviri)
In this study we propose the use of self-attention for spatial representation learning, while explore transformers as the backbone of our speech model for inferring apparent deceptive intent based on multimodal analysis of speech videos. The proposed model applies separate modality-specific representation learning from visual, vocal, and speech modality representations and applies fusion afterwards to merge information channels. We test our method on the popular, high-stake Real-Life Trial (RLT) dataset. We also introduce a novel, low-stake, in-the-wild dataset named PoliDB for deceit detection; and report the first results on this dataset as well. Experiments suggest the proposed design surpasses previous studies performed on RLT dataset, while it achieves significant classification performance on the proposed PoliDB dataset. Following our analysis, we report (1) convolutional self-attention successfully achieves joint representation learning and attention computation with up to three times less number of parameters than its competitors, (2) apparent deceptive intent is a continuous function of time that can fluctuate throughout the videos, and (3) studying particular abnormal behaviors out of context can be an unreliable way to predict deceptive intent.
Benzer Tezler
- 1,3-difenil-4,5-bis(hidroksiimino)-imidazolidin ve Ni(II), Cu(II), Pd(II), UO2(VI) komplekslerinin sentezi
Başlık çevirisi yok
VEFA AHSEN
Doktora
Türkçe
1984
Kimya MühendisliğiUludağ ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZER BEKAROĞLU
- Üniversitelerdeki öğrenci işlerinin mikrobilgisayarlar yardımı ile çözümlenmesine ilişkin bir araştırma
Başlık çevirisi yok
SAİT ESLEK
Yüksek Lisans
Türkçe
1985
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. HALİL ŞENGONCA
- Kısa zincirli bazı alkil aromatik hidrokarbonların yüzey aktif madde olarak kullanım alanlarının incelenmesi
Performance of short-chain alkyl aromatic sulphonates in light duty foaming detersents
BİKEM ÖVEZ
- Elma suyu aroma maddeleri üzerine çalışmalar
Başlık çevirisi yok
DOĞAN YÜKSEL
Yüksek Lisans
Türkçe
1986
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. COŞKAN ILICALI
- Design and implementation of an automated examination system
Başlık çevirisi yok
MUSTAFA TÜTÜNCÜ
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Y.DOÇ.DR. BÜLENT EPİR