İşitme kayıplı bireylerin derin öğrenme tabanlı ses duygu analizi
Deep learning based voice emotion analysis of individuals with hearing loss
- Tez No: 683248
- Danışmanlar: PROF. DR. BAHRİYE ÖZLEM KONUKSEVEN
- Tez Türü: Yüksek Lisans
- Konular: Kulak Burun ve Boğaz, Otorhinolaryngology (Ear-Nose-Throat)
- Anahtar Kelimeler: derin öğrenme, duygu, koklear implant, yapay zekâ, ses duygu analizi, deep learning, emotion, cochlear implant, artificial intelligence, voice emotion analysis
- Yıl: 2020
- Dil: Türkçe
- Üniversite: İstanbul Aydın Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Odyoloji Ana Bilim Dalı
- Bilim Dalı: Odyoloji Bilim Dalı
- Sayfa Sayısı: 172
Özet
Amaç: İşitme kayıplı bireylerin, hedef duyguyu tanıma ve ifade etme becerileri düşüktür. Bu çalışmanın amacı, koklear implant kullanan bireylerde duyguları sözel ifade etme becerisini derin öğrenme ile değerlendirmek ve koklear implant kullanan bireylerin eğitim öncesi ve eğitim sonrası derin öğrenme ile ses duygu analizleri arasındaki farkı ortaya koymaktır. Gereç ve Yöntem: Çalışma, veri setinin oluşturulması, derin öğrenme algoritmasının oluşturulması/ eğitilmesi ve prototipin canlıya geçirilmesi (klinik uygulama) olmak üzere üç aşamada gerçekleştirilmiştir. Derin öğrenme algoritmasının eğitilmesi için hazırlanan veri seti cümleleri nötr, mutluluk, hüzün, öfke, korku ve şaşkınlık olmak üzere altı farklı duyguda Drama ve Oyunculuk Bölümü'nde öğrenim gören 20 kadın ve 20 erkek öğrenci tarafından seslendirilmiştir. Derin öğrenme eğitimi tamamlandıktan sonra 18- 40 yaş aralığında, 20 normal işiten ve 20 koklear implant kullanan olmak üzere toplamda 40 birey çalışmaya dahil edilmiştir. Koklear implant kullanan bireyler resim ve animasyon olmak üzere iki ayrı duygu eğitimi uygulandıktan sonra cümleleri tekrar seslendirmiştir. Derin öğrenme yöntemi kullanılarak, eğitim öncesi ve eğitim sonrası ses duygu analizleri karşılaştırılmıştır. Bulgular: Derin öğrenme eğitimi tamamlandıktan sonra test aşamasında doğruluk oranı %93 elde edilmiştir. Derin öğrenme ile ses duygu analizi doğruluğu, normal işiten bireylerde %94.3, koklear implant kullanan bireylerde eğitim öncesi %68.25, koklear implant kullanan bireylerde eğitim sonrası %91.3 olarak elde edilmiştir. Sonuç: Koklear implant kullanan bireylerin ses duygu analizi doğruluk oranı, normal işiten bireylerin ses duygu analizi doğruluk oranına göre daha düşük ve koklear implant kullanan bireylerin eğitim sonrası ses duygu analizi doğruluk oranı daha yüksek elde edilmiştir. Bu çalışma, işitme kayıplı bireyler için ilk olması ile literatüre yenilikçi bir katkı sağlayacağı öngörülmektedir.
Özet (Çeviri)
Aim: Individuals with hearing loss have low ability to recognize and express the target emotion. The aim of this study is to evaluate the verbal expression of emotions in individuals using cochlear implants with deep learning and to reveal the difference between pre-and post-training deep learning and sound emotion analysis of individuals using cochlear implants. Material Metod: The study was carried out in three stages: creating the data set, creating / training the deep learning algorithm, and moving the prototype to life (clinical practice). The dataset sentences prepared for the training of the deep learning algorithm were voiced by 20 female and 20 male students studying in the Drama and Acting Department in six different emotions: neutral, happiness, sadness, anger, fear, and surprise. After the deep learning training was completed, a total of 40 individuals, including 20 normal hearing and 20 cochlear implant users, between the ages of 18-40 were included in the study. Individuals using cochlear implants vocalized the sentences again after applying two separate emotional training, namely painting and animation. Using the deep learning method, pre-training and post-training sound emotion analysis were compared. Results: After the deep learning training was completed, the accuracy rate was 93% in the test phase. Sound emotion analysis accuracy with deep learning was achieved as 94.3% in individuals with normal hearing, 68.25% before training in individuals using cochlear implants, and 91.3% after training in individuals using cochlear implants. Conclusion: The accuracy rate of sound emotion analysis of individuals using cochlear implants was lower than the accuracy rate of sound emotion analysis of normal hearing individuals, and the accuracy rate of sound emotion analysis after training of individuals using cochlear implants was higher. It is expected that this study will make an innovative contribution to the literature, being the first for individuals with hearing loss.
Benzer Tezler
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- İşitme cihazlarındaki derin sinir ağları teknolojisinin zamansal işlemleme testleri ile değerlendirilmesi
Evaluatıon of deep neural networks technology ın hearıng aıds by temporal processıng tests
ELİSANUR ÇANKAYA
Yüksek Lisans
Türkçe
2022
Kulak Burun ve Boğazİstanbul Medipol ÜniversitesiOdyoloji Ana Bilim Dalı
PROF. DR. MUSTAFA BÜLENT ŞERBETÇİOĞLU
- Otozomal resesif non-sendromik işitme kayıplı bireylerde GJB2 gen mutasyonlarının SSCP ve DNA dizi analizi ile belirlenmesi
Determination of GJB2 gene mutations in the autosomal recessive non-syndromic hearing lost individuals with SSCP and DNA sequencing analysis
ERSAN KALAY
Doktora
Türkçe
2002
Tıbbi BiyolojiKaradeniz Teknik ÜniversitesiTıbbi Biyoloji Ana Bilim Dalı
PROF. DR. AHMET KARAGÜZEL
- İşitme kayıplı bireylerin ebeveynlerine yönelik Aile Eğitim Programı uygulaması ve programın ebeveynler üzerine etkisinin incelenmesi
Application of A Family Education Program for parents of individuals with hearing loss and the study of the effect of the program on parents
MUSTAFA KIZILTAŞ
Yüksek Lisans
Türkçe
2023
Kulak Burun ve BoğazKTO Karatay ÜniversitesiOdyoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İCLAL ŞAN
- İşitme kayıplı bireylerin işitme cihazı kullanmaya karar verme süreçlerinin ve işitme cihazlı/işitme cihazsız yaşam kalitelerinin incelenmesi
Exploring the decision-making processes of individuals with hearing impairments regarding the use of hearing aids and the quality of life with and without hearing
HİLAL İREM KAYIKÇI
Yüksek Lisans
Türkçe
2024
Kulak Burun ve BoğazKTO Karatay ÜniversitesiOdyoloji Ana Bilim Dalı
PROF. DR. FÜSUN SUNAR