Derin öğrenme tabanlı bas konuş/interkom sistemlerinde ses duygu analizi
Deep learning based voice emotion analysis in intercom systems
- Tez No: 863504
- Danışmanlar: PROF. DR. PAKİZE ERDOĞMUŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Düzce Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Metrolarda bulunan Bas-Konuş sistemleri yolcuların makinistle iletişime geçmelerini sağlayan sistemlerdir. Yolcular bu sistem aracılığı ile acil durumlarda makinistle irtibata geçerek bir sıkıntı olduğunu söyleyebilmektedir. Ancak mevcut Bas Konuş/ Interkom sistemlerinde bir öncelik olayı olmadığı için makinist rastgele butona basan biriyle de görüşebilmektedir. Dolayısıyla önemli /acil bir durum için basan yolcu görüşmek için daha sonraya kalabilmekte ve geç müdahaleye sebep olabilmektedir. Bu çalışmada, bas/konuş sistemlerinde karşılaşılan bu sorunlara çözüm getirmek amacı ile, son yıllarda geliştirilen derin öğrenme mimarilerinden Wav2Vec2 kullanılmıştır. Bas-konuş cihazından butona basan yolcu konuştuğunda, insan sesini algılayan sistem devreye girmektedir. Bas-konuş cihazından butona basan yolcu konuştuğunda, eğitilmiş model ile duygu sınıflandırma yapılarak, yolcunun gerçekten acil bir durumda olup olmadığı algılanmaktadır. Bu çalışmada eğitilen duygu sınıflandırma modelinin, sisteme entegre edilmesi ve tahmin edilen duygu sınıfına göre, sistem otomasyonu geliştirilmesi, acil olmayan durumların otomatik bir sistem cevabı ile geçilmesini ve acil durumların geciktirilmemesi amaçlanmaktadır. Çalışmada EMO-DB veri setinde yer alan, duygu sınıflarına göre önceden eğitilmiş bir Wav2Vec2 modeli kullanılarak transfer öğrenme yoluyla ses verileri 2D görüntülere, yani ses spektrogramlarına dönüştürülmüştür. Elde edilen veri seti ile transfer öğrenme yolu ile eğitilen model de, %92 doğruluk değerine ulaşıldığı görülmüştür.
Özet (Çeviri)
Push-to-Talk systems in subways are systems that allow passengers to communicate with the engineer. Through this system, passengers can contact the engineer in case of emergency and tell him/her that there is a problem. However, since there is no priority in the current Push to Talk/Intercom systems, the engineer can talk to someone who presses the button randomly. Therefore, the passenger who presses the button for an important/emergency situation may be delayed to be interviewed later and may cause late intervention. In this study, Wav2Vec2, one of the recently developed deep learning architectures, is used to solve these problems in push-to-talk systems. When the passenger presses the button on the push-to-talk device, the human voice recognition system is activated. When the passenger presses the button on the push-to-talk device, the trained model is used to classify the emotion and detect whether the passenger is really in an emergency or not. The aim of this study is to integrate the trained emotion classification model into the system and to develop system automation according to the predicted emotion class, to pass non-emergency situations with an automatic system response and not to delay emergency situations. In the study, audio data in the EMO-DB dataset were converted into 2D images, i.e. audio spectrograms, by transfer learning using a Wav2Vec2 model pre-trained according to emotion classes. It was observed that the model trained by transfer learning with the obtained data set achieved 92% accuracy.
Benzer Tezler
- Missile evasion maneuver generation with model-free deep reinforcement learning
Modelden bağımsız derin pekiştirmeli öğrenme ile füzeden kaçınma manevraları
MUHAMMED MURAT ÖZBEK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Deep learning-based attention monitoring system using blink rate, head position and eye state for human-robot collaboration
İnsan robot iş birliği için göz kırpma hızı, baş pozısyonu ve göz durumlarına dayalı derın ogrenme tabanlı dıkkat izleme sıstemi
MUHAMMAD OWAIS RAZA
Yüksek Lisans
İngilizce
2026
Elektrik ve Elektronik MühendisliğiSakarya Uygulamalı Bilimler ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ALİ FURKAN KAMANLI
- Enhanced fault detection in low voltage distributionsystems with innovative methods
Yenilikçi yöntemlerle alçak gerilim dağıtım sistemlerinde gelişmiş arıza tespiti
FIRAS SAADOON MOHAMMED AL-JUMAILI
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ONAT
- Skin lesion classification via hybrid localization-explainability approaches
Hibrit lokalizasyon-açıklanabilirlik yaklaşımları ile deri lezyonu sınıflandırması
HUMAM ABUALKEBASH
Doktora
İngilizce
2025
Mekatronik MühendisliğiKocaeli ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN METİN ERTUNÇ
- New Algorithms and Planning Strategies for Collaborative Visual SLAM on Unmanned Air Vehicles
İnsansız Hava Araçları Üzerinde İşbirlikçi Eş Zamanlı Konumlama ve Haritalama İçin yeni Algoritma ve Planlama Stratejileri
GÜVEN ÇETİNKAYA
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YAKUP GENÇ