Music emotion recognition: A multimodal machine learning approach
Müzik duygusu tanıma: Çok-modlu makine öğrenmesi yaklaşımı
- Tez No: 598403
- Danışmanlar: DR. ÖĞR. ÜYESİ AHMET ONUR DURAHİM, DOÇ. ABDULLAH DAŞCI
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Eğitim ve Öğretim, Müzik, Science and Technology, Education and Training, Music
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Yönetim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yönetim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Endüstri Mühendisliği ve İşletme Yönetimi Bilim Dalı
- Sayfa Sayısı: 114
Özet
Müzik duygusu tanıma, müzik bigisi çıkarım bilimsel topluluğunun yeni gelişmekte olan bir alanıdır ve aslında, duygular üzerinden yapılan müzik aramaları, web kullanıcıları tarafından kullanılan en önemli tercihlerden biridir. Dünya dijitale giderken, Last.fm gibi çevrimiçi veritabanlarındaki müzik içerikleri katlanarak genişlemesi, içeriklerin yönetilmesi ve güncel tutulması için önemli bir manuel çaba gerektiriyor. Bu nedenle, kullanıcıların duygusal durumuna göre kişiselleştirilebilecek ileri ve esnek arama mekanizmalarına olan talep son yıllarda artan ilgi görmektedir. Bu tezde, metinsel bazlı özelliklerin yanısıra müzikten türetilen sessel niteliklerle beslenen çeşitli sınıflandırılma modelleri sunarak, müzik duygu tanıma problemini ele almaya odaklanan bir çerçeve tasarlamıştır. Bu çalışmada, tempo, akustiklik ve enerji gibi ses özelliklerinin duygusal rolünü ve, iki farklı yaklaşımla, TF-IDF ve Word2Vec, elde edilen metinsel özelliklerin etkisini, hem denetimli hem de yarı denetimli tasarımlarla, dört araştırma deneyi altında ele aldık. Ayrıca, müzikten türetilen sessel özellikleri, içeriğe duyarlı verilerden gelen özelliklerle birleştirerek, çok modlu bir yaklaşım önerdik. Yüksek performanslı, otomatik bir duygu sınıflandırma sistemi oluşturmayı başarmak adına, 1500'den fazla etiketli şarkı sözü ve 2.5 milyondan fazla Türkçe belgenin bulunduğu etiketlenmemiş büyük veriyi içeren temel bir gerçek veri seti oluşturduk. Analitik modeller Python kullanılarak çapraz doğrulanmış veriler üzerinde birkaç farklı algoritma benimseyerek gerçekleştirildi. Deneylerin bir sonucu olarak, sadece ses özellikleri kullanılırken elde edilen en iyi performans %44,2 iken, metinsel özelliklerin kullanılmasıyla, sırasıyla denetimli ve yarı denetimli öğrenme paradigmaları dikkate alındığında, % 46,3 ve % 51,3 doğruluk puanları ile gelişmiş bir performans gözlenmiştir. Son olarak, sessel ve metinsel özelliklerin birleşimiyle oluşturulan bütünsel bir özellik seti yaratmış olsak da, bu yaklaşımın sınıflandırma performansı için önemli bir gelişme göstermediği gözlemlendi.
Özet (Çeviri)
Music emotion recognition (MER) is an emerging domain of the Music Information Retrieval (MIR) scientific community, and besides, music searches through emotions are one of the major preferences utilized by web users. As the world goes to digital, the musical contents in online databases, such as Last.fm have expanded exponentially, which require substantial manual efforts for managing them and also keeping them updated. Therefore, the demand for advanced and flexible search mechanisms, which can be personalized according to the emotional state of users, has received increasing attention in recent years. This thesis concentrates on addressing music emotion recognition problem by presenting several classification models, which were fed by textual features, as well as audio attributes extracted from the music. In this study, we build both supervised and semi-supervised classification designs under four research experiments, that addresses the emotional role of audio features, such as tempo, acousticness, and energy, and also the impact of textual features extracted by two different approaches, which are TF-IDF and Word2Vec. Furthermore, we proposed a multi-modal approach by using a combined feature-set consisting of the features from the audio content, as well as from context-aware data. For this purpose, we generated a ground truth dataset containing over 1500 labeled song lyrics and also unlabeled big data, which stands for more than 2.5 million Turkish documents, for achieving to generate an accurate automatic emotion classification system. The analytical models were conducted by adopting several algorithms on the cross-validated data by using Python. As a conclusion of the experiments, the best-attained performance was 44.2% when employing only audio features, whereas, with the usage of textual features, better performances were observed with 46.3% and 51.3% accuracy scores considering supervised and semi-supervised learning paradigms, respectively. As of last, even though we created a comprehensive feature set with the combination of audio and textual features, this approach did not display any significant improvement for classification performance.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Music emotion recognition using convolutional long short term memory deep neural networks
Evrişimli uzun kısa süreli bellek derin sinir ağlarını kullanarak müzikten duygu tanıma
SERHAT HIZLISOY
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEKERİYA TÜFEKCİ
- Music emotion recognition using deep neural networks
Derin sinir ağları kullanılarak müzik duygu tanımlaması
HAKAN PÜRE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDÜL KADİR GÖRÜR
- Makine öğrenmesi ile Türk müziğinde duygu analizi
Emotion analysis in Turkish music with machine learning
MEHMET BİLAL ER
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN MURAT ESİN
- Makine öğrenme algoritmalarını kullanan duygu tahminine dayalı müzik öneri sistemi
Music recommendation system based on emotion prediction using machine learning algorithms
HASAN ALIYEV
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ GÜNEŞ