Geri Dön

End-to-end open vocabulary keyword search

Uçtan-uca açık sözvarlıklı anahtar sözcük arama

  1. Tez No: 882812
  2. Yazar: BOLAJI YUSUF
  3. Danışmanlar: PROF. DR. MURAT SARAÇLAR
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 95

Özet

Anahtar Sözcük Arama (ASA), yazılı olarak verilen sorgu sözcüklerinin konuşma kayıtlarında aranması problemini çözer ve böylece büyük konuşma arşivlerinden arzulanan bilginin edinilmesini ve bu arşivlerin otomatik olarak kataloglanmasını kolaylaştırır. Geleneksel ASA yöntemi, konuşma arşivinin bir otomatik konuşma tanıma (OKT) sistemi kullanılarak metne çevirilmesi ve ardından elde edilen transkriptlerde sorguları arama sürecini içerir. Bu yaklaşım olgunlaşmış ve güvenilir bir teknolojiye dönüşmüş olsa da, OKT tabanlı kataloglama karmaşık bir işlemdir. Bu tezde, OKT tabanlı sistemlerdeki çizge çözümlemesi ve sembol eşleştirmesini iki adet kodlayıcı sınır ağı çıktısının iç çarpımı tabanlı daha basit bir arama yöntemi ile değiştiren, uçtan uca yapay sınır ağı tabanlı özgün bir ASA yöntemi önerilmektedir. Bu yöntemde, konuşma belgeleri bir kodlayıcı ile vektörel dizilere dönüştürülmekte ve sorgu metinleri de başka bir kodlayıcı vasıtasıyla aynı vektör uzayına yansıtılmaktadır. Sonrasında arama işlemi, sorgu gösterimlerininin konuşma dökümanına ait vektörel dizileri ile iç çarpımlarını karşılaştırarak gerçekleştirilir. Konuşma gösterimleri içinde sorgu gösterimine yüksek iç çarpım skoruna sahip bölgeler isabet olarak değerlendirilir ve düşük iç çarpım değerine sahip yerler ise ilgisiz konuşma olarak değerlendirilerek göz ardı edilir. Ayrıca, kısıtlı eğitim verisine sahip diller için bu tezde önerilen yöntemin uygulanabilirliğini artıran çok dilli bir eğitim stratejisi benimsenmiştir. Son olarak, konuşma içindeki metni arama problemi olan ASA ile metin içindeki metni arama problemi birlikte öğrenen bir yöntem de önerilmiştir; böylece önerilen konuşma kaydı olamayan metinlerin de ASA modeline entegre edilmesi sağlanmıştır. Çeşitli dillerde gerçekleştirilen derinlemesine deneyler ile, önerilen yöntemin birçok özelliği analiz edilmiş ve OKT tabanlı ASA sistemlerine hem alternatif hem de bu sistemlerin eksiklerini giderebilen bir tamamlayıcı olarak güçlü bir ASA sistemi olarak uygulanabilirliği ortaya konmuştur.

Özet (Çeviri)

Keyword search (KWS) solves the problem of searching written queries in spoken documents, thereby facilitating cataloging of and information retrieval from large archives of speech. Conventional keyword search entails transcribing the archive into text with an automatic speech recognition (ASR) system and then searching queries in the resulting transcriptions. Although this approach has grown into a mature and reliable technology, ASR-based cataloging is a complicated undertaking. In this dissertation, we propose a novel end-to-end neural-network-based KWS paradigm in which we replace the graph decoding and symbol matching of ASR-based systems with a simpler search method based on dot products on the outputs of a pair of encoding neural networks. In our method, documents are transformed into sequences in the output space of one encoder, and queries are projected to the same vector space by another encoder. Search is then conducted by comparing, by means of dot products, the query vector to the vectors representing frames of the document. Locations in the document with high dot product similarity to the query are returned as hits and locations with low dot products are ignored as background. We further adopt a multilingual training strategy which increases the viability of the proposed framework for KWS in languages for which low amounts of training data are available. Finally, we propose a scheme which jointly learns the KWS task of searching for text in speech with a task of searching for text in text, with the latter task allowing us to integrate unpaired text into the proposed KWS model. We conduct in-depth experiments across several languages analyzing the various properties of the proposed KWS method and showing its viability for competitive KWS performance both as an alternative and as a complement to ASR-based KWS.

Benzer Tezler

  1. Indexation, retrieval and decision techniques for spoken term detection

    Konuşulan terimlerin saptanmak için dizinleme, geri getirim ve karar teknikleri

    DOĞAN CAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2010

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MURAT SARAÇLAR

  2. Gerçek zamanlı Türkçe konuşma tanıma

    Real-time Turkish speech recognition

    EYÜP ENSAR KALAYCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ANIL BAŞ

  3. Okuma çemberi tekniğinin söz varlığına, konuşma becerisine ve okuma tutumuna etkisi

    The impact of the literature circle technique on vocabulary, speaking skills and reading attitude

    LATİF YARDIM

    Doktora

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimSakarya Üniversitesi

    Türkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı

    PROF. DR. ALPASLAN OKUR

  4. Teaching vocabulary to young learners through drama

    Çocuklara drama aracılığıyla kelime öğretmek

    GAMZE TOKDEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Eğitim ve ÖğretimÇağ Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. KIM RAYMOND HUMISTON

  5. Bağlam temelli kelime öğretimi yönteminin kelime kazanımına katkısı

    Contribution of context based vocabulary teaching method to word acquisition

    TUFAN BİTİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimUşak Üniversitesi

    İlköğretim Ana Bilim Dalı

    DOÇ. DR. EROL DURAN