Ses olayı tanıma ve akustik sahne geri getirimi
Sound event recognition and acoustic scenes retrieval
- Tez No: 594643
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA SERT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 79
Özet
Çevresel ses olarak tanımlanan ses olayları içerisinde birçok önemli bilgiler bulunabilir. Bu çözümlenmemiş ses sinyallerinin otomatik sistemler tarafından anlamlı verilere dönüştürülmesi önemlidir. Bunun için otomatik sistemlerde ses tanıma, sınıflandırma ve geri getirimi gibi işlemlerin performanslı olması istenmektedir. Çalışma alanları bakımından; savunma sanayi, güvenlik sistemleri, çokluortam arama motorları ve nesnelerin interneti gibi popüler alanlarında bu geliştirilen sistemler kullanılabilir. Bu sinyallerin belirli bir karakteristik özellikleri bulunmaması ve ardı ardına veya örtüşen arka plan seslerine sahip olması bu problemi zorlaştıran nedenler olarak sayılabilir. Bu çalışmada; sayısal ses kayıtlarından anlamsal bilgi çıkarımı (ses olayı ve akustik sahne) ve bu bilgilerin kullanımı ile ses kayıtlarının geri getirimi problemleri ele alınmıştır. Çalışma kapsamında, başarıma katkıda bulunabileceği düşünüldüğünden ses sinyallerinden çeşitli öznitelik çıkarım yöntemleri denenmiştir. Ayrıca çeşitli derin sinir ağlar ile geliştirilmiş öğrenme modelleri incelenmiştir. Tarafımızca bilindiği kadarıyla daha önce akustik sahne sınıflandırma probleminde uygulanmamış, imgesel tanımlama problemlerinde başarılı olan uzamsal piramit veri birleştirme (SPP) yöntemi ilk defa akustik sahne sınıflandırma probleminde uygulanmıştır. Bu uygulamada, spektrogram öznitelikleri kullanılması ile başarımına katkıda bulunulduğu görülmüştür. Tanıma ve sınıflandırma çalışmalarından sonra çevresel ses kayıtlarının geri getirimi yöntemi üzerine çalışılmıştır. Sınıflandırma modelinin eklenmesi ile etkili bir örnekle sorgulama modeli geliştirilmiştir. Geliştirilen yöntem ile etiket bazlı arama sistemlerine kıyaslanacak sonuçlar elde edilmiştir.
Özet (Çeviri)
The signal of sound events, which defined in environmental sounds, may contain a lot of important information. In the computer systems, audio signals need to perform some processes such as the conversion into the meaningful data, classification and recovery of signals. The necessity of these processes is increasing day by day. It can be used in popular work areas like defense industry, security systems, multimedia search engines and internet of objects. It could be very difficult problem because sound events have no specific characteristic. Moreover in their background, there could be consecutive or overlapping sounds. In this study; we examine and develop performances of sound event identification and acoustic scenes classification. Since it is thought that it can contribute to success of study, various feature extraction methods have been tried and various deep neural network models have been used. To the best of our knowledge, method of the Spatial Pyramid Pooling (SPP), which was successful in imagery identification problems, was first applied to the acoustic scenes classification problem. In our experiments, it has been shown that it contributes to the success on spectrogram features. Moreover, in this study, we added to develop an effective Query-by-Example sound information retrieval system using acoustically and semantically similarities. We investigated; the result of effective acoustic similarity model could be compared against the result of Query-by-Keyword systems.
Benzer Tezler
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- The sounds of political actions in the streets of Istanbul
İstanbul sokaklarında politik eylem sesleri
EMİNE ŞİRİN ÖZGÜN
Doktora
İngilizce
2012
Müzikİstanbul Teknik ÜniversitesiMüzik Ana Bilim Dalı
PROF. Ş. ŞEHVAR BEŞİROĞLU
DOÇ. DR. ROBERT REİGLE
- Lifelong learning for auditory scene analysis
İşitsel sahne analizi için hayat boyu öğrenme
BARIŞ BAYRAM
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- Automated audio captioning with acoustic and semantic feature representation
Akustik ve anlamsal öznitelik temsili ile otomatik ses başlıklandırma
AYŞEGÜL ÖZKAYA EREN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA SERT
- Silah seslerinin konvolüsyonel yapay sinir ağları ile sınıflandırılması ve atıcı konum tespitinin yapılması
Classification of weapon sounds with convolutional neural networks and detection of shooter location
İLYAS ÖZER
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. OĞUZ FINDIK