Analysis of speech content and voice for deceit detection
Aldatma tespiti için konuşma içeriği ve ses analizi
- Tez No: 892631
- Danışmanlar: Assist. Prof. Dr. HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: 68
Özet
Günlük yaşamın bir parçası olan aldatıcı davranışlar, genellikle fark edilmeden gerçekleşir ve ciddi sonuçlara yol açabilir. Makine öğrenimindeki son gelişmelerle birlikte, aldatmanın daha güvenilir bir şekilde tespit edilebilmesi mümkün görünmektedir. Mevcut görsel ve çok modlu modeller, aldatmayı yeterli doğrulukla tanımlayabilse de, konuşma içeriği veya sesin bireysel kullanımı hala düşük performans sergilemektedir. Bu nedenle, aldatmanın tespiti için özellik çıkarımı ve optimizasyonuna odaklanarak bu temel iletişim biçimlerinin kullanımını sistematik bir şekilde inceliyoruz. Bu amaçla, aldatma kalıplarını tespit etmek için transformerlerden, uzamsal ve zamansal mimarilerden, en son teknoloji önceden eğitilmiş modellerden ve el yapımı gösterimlerden yararlanmanın güvenilirliğini değerlendiriyoruz. Ayrıca, değerlendirilen yöntemlerin kendine özgü özelliklerini ve ayırt edici gücünü anlamak için kapsamlı bir inceleme yapıyoruz. Sonuçlar, konuşma içeriğinin (transkripte edilmiş metin) ses özelliklerinden daha fazla bilgi sağladığını göstermektedir. Ek olarak, transformer mimarilerinin, gösterim öğrenimi ve modellemede etkili olduğu görülmekte ve aldatma tespiti için en uygun model yapılandırmaları hakkında içgörüler sağlanmaktadır.
Özet (Çeviri)
Deceptive behavior is part of daily life, often without being recognized, leading to severe repercussions. With the recent improvements in machine learning, more reliable detection of deceit appears to be possible. Although current visual and multimodal models can identify deception with adequate precision, the individual use of speech content or voice still performs poorly. Therefore, we systematically analyze such essential communication forms focusing on feature extraction and optimization for deceit detection. To this end, we assess the reliability of employing transformers, spatial and temporal architectures, state-of-the-art pre-trained models, and handcrafted representations to detect deceit patterns. Furthermore, we conduct a thorough analysis to comprehend the distinct properties and discriminative power of the evaluated methods. The results demonstrate that speech content (transcribed text) provides more information than vocal characteristics. In addition, transformer architectures are found to be effective in representation learning and modeling, providing insights into optimal model configurations for deceit detection.
Benzer Tezler
- Müzik eğitiminin, dil ve konuşma terapisi öğrencilerinin ses bozukluklarını değerlendirme becerilerine yönelik etkileri: Karma yöntem çalışması
The effects of music education on voice disorder assessment skills of speech and language therapy students: Mixed methods study
EYLÜL BİRKENT
Doktora
Türkçe
2023
Kulak Burun ve BoğazÜsküdar ÜniversitesiDil ve Konuşma Terapisi Ana Bilim Dalı
PROF. DR. AHMET KONROT KONROT
- Yeni Türkçe duygusal veri seti üzerinde konuşmadan duygu tanıma
Speech emotion recognition in a new Turkish emotional speech dataset
EMEL ÇOLAKOĞLU
Yüksek Lisans
Türkçe
2023
Mühendislik BilimleriKayseri ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERHAT HIZLISOY
- Devlet ve vakıf üniversitelerinin kurumsal ve akademik kültürlerinin incelenmesi
The analysis of corporate and academic culture of public and foundation universities
FİDEL ATEŞ
Doktora
Türkçe
2018
Eğitim ve Öğretimİnönü ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BURHANETTİN DÖNMEZ
- Düşük bir hızlarında konuşma kodlama ve uygulamaları
Low bit rate speech coding and applications
TARIK AŞKIN
Doktora
Türkçe
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. GÜNSEL DURUSOY
- Pandemi sürecinin profesyonel ses sanatçılarına mesleki ve emosyonel yönden etkisinin incelenmesi
Investigation of the effect of the pandemic process on professional voice artists in occupational and emotional perspectives
AYŞE BUSE KURT
Yüksek Lisans
Türkçe
2022
Kulak Burun ve Boğazİstanbul Medipol ÜniversitesiDil ve Konuşma Terapisi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN SERTAN ÖZDEMİR