End-to-end open vocabulary keyword search
Uçtan-uca açık sözvarlıklı anahtar sözcük arama
- Tez No: 882812
- Danışmanlar: PROF. DR. MURAT SARAÇLAR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 95
Özet
Anahtar Sözcük Arama (ASA), yazılı olarak verilen sorgu sözcüklerinin konuşma kayıtlarında aranması problemini çözer ve böylece büyük konuşma arşivlerinden arzulanan bilginin edinilmesini ve bu arşivlerin otomatik olarak kataloglanmasını kolaylaştırır. Geleneksel ASA yöntemi, konuşma arşivinin bir otomatik konuşma tanıma (OKT) sistemi kullanılarak metne çevirilmesi ve ardından elde edilen transkriptlerde sorguları arama sürecini içerir. Bu yaklaşım olgunlaşmış ve güvenilir bir teknolojiye dönüşmüş olsa da, OKT tabanlı kataloglama karmaşık bir işlemdir. Bu tezde, OKT tabanlı sistemlerdeki çizge çözümlemesi ve sembol eşleştirmesini iki adet kodlayıcı sınır ağı çıktısının iç çarpımı tabanlı daha basit bir arama yöntemi ile değiştiren, uçtan uca yapay sınır ağı tabanlı özgün bir ASA yöntemi önerilmektedir. Bu yöntemde, konuşma belgeleri bir kodlayıcı ile vektörel dizilere dönüştürülmekte ve sorgu metinleri de başka bir kodlayıcı vasıtasıyla aynı vektör uzayına yansıtılmaktadır. Sonrasında arama işlemi, sorgu gösterimlerininin konuşma dökümanına ait vektörel dizileri ile iç çarpımlarını karşılaştırarak gerçekleştirilir. Konuşma gösterimleri içinde sorgu gösterimine yüksek iç çarpım skoruna sahip bölgeler isabet olarak değerlendirilir ve düşük iç çarpım değerine sahip yerler ise ilgisiz konuşma olarak değerlendirilerek göz ardı edilir. Ayrıca, kısıtlı eğitim verisine sahip diller için bu tezde önerilen yöntemin uygulanabilirliğini artıran çok dilli bir eğitim stratejisi benimsenmiştir. Son olarak, konuşma içindeki metni arama problemi olan ASA ile metin içindeki metni arama problemi birlikte öğrenen bir yöntem de önerilmiştir; böylece önerilen konuşma kaydı olamayan metinlerin de ASA modeline entegre edilmesi sağlanmıştır. Çeşitli dillerde gerçekleştirilen derinlemesine deneyler ile, önerilen yöntemin birçok özelliği analiz edilmiş ve OKT tabanlı ASA sistemlerine hem alternatif hem de bu sistemlerin eksiklerini giderebilen bir tamamlayıcı olarak güçlü bir ASA sistemi olarak uygulanabilirliği ortaya konmuştur.
Özet (Çeviri)
Keyword search (KWS) solves the problem of searching written queries in spoken documents, thereby facilitating cataloging of and information retrieval from large archives of speech. Conventional keyword search entails transcribing the archive into text with an automatic speech recognition (ASR) system and then searching queries in the resulting transcriptions. Although this approach has grown into a mature and reliable technology, ASR-based cataloging is a complicated undertaking. In this dissertation, we propose a novel end-to-end neural-network-based KWS paradigm in which we replace the graph decoding and symbol matching of ASR-based systems with a simpler search method based on dot products on the outputs of a pair of encoding neural networks. In our method, documents are transformed into sequences in the output space of one encoder, and queries are projected to the same vector space by another encoder. Search is then conducted by comparing, by means of dot products, the query vector to the vectors representing frames of the document. Locations in the document with high dot product similarity to the query are returned as hits and locations with low dot products are ignored as background. We further adopt a multilingual training strategy which increases the viability of the proposed framework for KWS in languages for which low amounts of training data are available. Finally, we propose a scheme which jointly learns the KWS task of searching for text in speech with a task of searching for text in text, with the latter task allowing us to integrate unpaired text into the proposed KWS model. We conduct in-depth experiments across several languages analyzing the various properties of the proposed KWS method and showing its viability for competitive KWS performance both as an alternative and as a complement to ASR-based KWS.
Benzer Tezler
- Indexation, retrieval and decision techniques for spoken term detection
Konuşulan terimlerin saptanmak için dizinleme, geri getirim ve karar teknikleri
DOĞAN CAN
Yüksek Lisans
İngilizce
2010
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT SARAÇLAR
- Gerçek zamanlı Türkçe konuşma tanıma
Real-time Turkish speech recognition
EYÜP ENSAR KALAYCI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ANIL BAŞ
- Okuma çemberi tekniğinin söz varlığına, konuşma becerisine ve okuma tutumuna etkisi
The impact of the literature circle technique on vocabulary, speaking skills and reading attitude
LATİF YARDIM
Doktora
Türkçe
2021
Eğitim ve ÖğretimSakarya ÜniversitesiTürkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı
PROF. DR. ALPASLAN OKUR
- Teaching vocabulary to young learners through drama
Çocuklara drama aracılığıyla kelime öğretmek
GAMZE TOKDEMİR
Yüksek Lisans
İngilizce
2015
Eğitim ve ÖğretimÇağ Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. KIM RAYMOND HUMISTON
- Bağlam temelli kelime öğretimi yönteminin kelime kazanımına katkısı
Contribution of context based vocabulary teaching method to word acquisition
TUFAN BİTİR
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimUşak Üniversitesiİlköğretim Ana Bilim Dalı
DOÇ. DR. EROL DURAN