Using crosslingual information for keyword search in low resource languages
Kısıtlı kaynaklı dillerde anahtar sözcük arama için diller arası bilgi kullanımı
- Tez No: 526926
- Danışmanlar: PROF. DR. MURAT SARAÇLAR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 81
Özet
Anahtar Sözcük Arama (ASA), metin halinde verilen bir sorgunun büyük, etiketlenmemiş bir konuşma dokümanı içinde bulunmasını amaçlayan, konuşma arama problemlerinin bir alt kümesidir. ASA'ya en hakim yaklaşım, Otomatik Konuşma Tanıma (OKT) sistemleri ile konuşma verisini metne çevirme ve aramayı OKT örülerinden elde edilen dizinler içerisinde gerçekleştirmektir. Bu örüleri elde etmekte kullanılan Geniş Dağarcıklı Sürekli Konuşma Tanıma (GDSKT) sistemleri iyi bir konuşma tanıma, ve dolayısıyla anahtar sozcuk arama performansi icin tipik olara muazzam miktarlarda etiketli veri gerektirmektedir. Bu nedenle, nispeten az etiketli eğitim verisi olan diller için inşa edilen ASA modelleri, OKT performansında yasanan düşüşe eşlik eden arama performansındaki bozulma ile mücadele etmelidir. Bu bozulma, egitim verisinin dagarcigi disinda (DD) kalan terimlerin mevcudiyeti ile daha da kotuye gitmektedir. ASA performansının böyle bir ortamda geliştirilmesinin bir yolu, diğer dillerden gelen bilgilerden yararlanmaktır. Bu çalışmada, dağarcıktan bagimsiz bir ASA modeli oluşturmak için çok dilli bir gösterim kullanmaktayiz. Kaynak diller üzerinde eğitilmiş bir sinir ağından elde edilen çok dilli darboğaz gösterimleri, hedef dillerde uzaklık ölçütü öğrenme temelli ASA motorunu eğitmek için kullanılır. IARPA Babel Programındaki kısıtlı kaynaklı veri kümeleriyle gerçekleştirilen deneyler, önerilen sistemin daha geleneksel çok dilli modellere alternatif olarak veya onlarla birlikte kullanmanın yararlarını ortaya koymuştur. Son derece kısıtlı kaynak ortamında, önerilen sistemin performansı, (yine çok dilli verilerle de eğitilmiş) temel sisteminkini aşmaktadır. Kaynak kısıtlarının daha gevsetildigi bir başka kısıtlı kaynak ortamında ise , önerilen sistemin DD terimlerde temel sistemden daha yüksek başarıma sahip olduğu görülmüştür. Her iki durumda da, iki sistemin sonuçlarını birleştirmenin daha da iyi bir DD direnci ve yüksek bir genel performans sağladığı gösterilmektedir.
Özet (Çeviri)
Keyword search (KWS) is a subtask of spoken content retrieval that aims to solve the problem of locating a written query within a large, unlabeled spoken document. The dominant approach to KWS involves transcribing the document using an automatic speech recognition (ASR) system and conducting the search on indexes obtained from the ASR lattices. The large vocabulary continuous speech recognition (LVCSR) systems used to decode the document typically require enormous amounts of labeled data to give good recognition and, subsequently, search accuracy. Therefore, KWS models built for languages for with relatively little labeled training data need to contend with the deterioration in search performance that accompanies a decline in ASR performance. This deterioration is exacerbated by the increased incidence of search terms that are out of vocabulary (OOV) of the training data. One way of improving KWS performance in such a setting is to leverage information from other languages. In this work, we use a multilingual representation to build a vocabulary agnostic KWS model. The multilingual bottleneck (BN) representation, obtained from a neural network trained on the source languages, is used to train a metric learning based KWS engine in the target languages. Experiments on the low resource datasets from the IARPA Babel Program show the benefits of using the proposed system as an alternative to, or in tandem with, more traditional multilingual models. In an extremely low resource setting, the performance of the proposed system exceed that of the baseline system (also trained with multilingual data). Furthermore, in a milder low resource setting, the proposed system performs better on OOV term retrieval than the baseline. In either setting, we show that combining the results from both systems yields a robustness against OOV terms and better overall performance.
Benzer Tezler
- Keyword search for sign language
İşaret dilinde anahtar kelime arama
NAZİF CAN TAMER
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT SARAÇLAR
- Neural language modelling approaches for post-ocr text processing
Optik karakter tanıma sonrası metin işleme adımı için sinirsel dil modelleri yaklaşımları
AYŞE İREM TOPÇU
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Cross-lingual information retrieval on Turkish and English texts
Türkçe ve İngilizce metinlerde çok dilli veri erişimi
AKİF BOYNUEĞRİ
Yüksek Lisans
İngilizce
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Bölümü
DR. AYŞENUR BİRTÜRK
- Learning visually-grounded representationsusing cross-lingual multimodal pre-training
Çok dilli çok kipli ön öğrenme ile görsel tabanlı temsillerin öğrenilmesi
MENEKŞE KUYU
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ERKUT ERDEM
- Emotion and gender identification on speech signals using deep learning methods
Konuşma sinyalleri üzerinde derin öğrenme yöntemleri kullanarak duygu ve cinsiyet tespiti
ÖZGÜR ÖZDEMİR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN BİLGİN