Bootstrapping a speech recognition system bu using sliding video text recognition
Video kayan yazı tanıma kullanılarak konuşma tanıma sistemi eğitimi
- Tez No: 255872
- Danışmanlar: YRD. DOÇ. DR. MURAT SARAÇLAR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2009
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 84
Özet
İşitme engelliler haber bültenlerinde bilgi üç kip ile aktarılır; konuşma, işaret dili ve kayan yazı. Bu çalışmada, otomatik konuşma tanıma sistemi eğitimi için otomatik çeviriyazı verisi üretmek amacıyla, Saklı Markov Model tabanlı çalışan kayan yazı tanıma sistemi tasarlanmıştır. Ardından, otomatik çeviriyazılar kullanılarak otomatik konuşma tanıma sistemi eğitilmiştir.Kayan yazı tanıma sistemi asgari video verisi kullanılarak eğitilmiştir. Kayan yazıyı modellemek ve tanımak için konuşma tanıma teknikleri kullanılmıştır. Temel sistem, test setini %2.2 kelime hata oranı ile tanımaktadır. Ardından, karakter hata analizi yapılmış ve bu hataları düzeltmek için karakter tabanlı dil modeli uygulanmıştır. Son olarak, yarı-öğreticili eğitim tekniği uygulanmış ve kelime hata oranında belirgin bir azalma gözlemlenmiştir. Kelime hata oranı %1' in altına indirilmiştir.Otomatik çeviriyazılar kullanılarak, otomatik konuşma tanıma sistemi eğitilmiştir. Konuşma verisi otomatik olarak bölütlenmiş ve çeviriyazılar ile hizalanmıştır. 83 video (11 saat) kullanılarak öğreticisiz konuşma tanıma sistemi eğitilmiştir. Öğreticisiz akustik model 200K dil modeli ile beraber kullanılarak yapılan sınamada %12.7 kelime hata oranı elde edilmiştir. Kayan yazı tanıma sistemi çıktıları kullanılarak dağırcık dışı kelime oranı azaltılmış ve dağarcık dışı kelime oranının tanıma performansına etkisi gözlemlenmiştir. Son olarak, aynı eğitim setinin manüel çeviriyazısı kullanılarak öğreticili akustik model eğitilmiştir. Öğreticisiz akustik modelin performansı, öğreticili model ile karşılaştırılmıştır. Öğreticili akustik model ile öğreticisiz akustik model performansları arasında %0.4' lük kelime hata oranı gözlemlenmiştir (12.7' den 12.3' e).
Özet (Çeviri)
In the broadcast news for the hearing impaired, the information is conveyed by three modalities: speech, sign language and sliding video text. In this work, we propose an HMM-based sliding video text recognition (SVTR) system to generate automatic transcriptions of the speech in broadcast news for the hearing impaired. Then, we bootstrap an unsupervised acoustic model by using those automatic transcriptions.The sliding video text recognition system is trained by using minimal amount of video data (7 minutes). Well known speech processing techniques are applied to model and to recognize the sliding video text. Baseline system gives 2.2% word error rate over the video test set. Then character error analysis is provided and a character based language model is employed to correct the errors. Finally semi-supervised training method is applied and significant error reduction is achieved (2.2% to 0.9%).An automatic speech recognition system is bootstrapped by using the output of the sliding video text recognizer as the transcriptions. The speech data is segmented automatically and aligned with the automatic transcriptions. An unsupervised acoustic model (U-AM) is trained with 83 videos (11 hours). 12.7% word error rate is achieved for U-AM with 200K language model. The Out of vocabulary (OOV) rates of the language models are decreased by adding the automatic transcriptions of the audio train set to the large text corpus and the effect of OOV rate on system performance is investigated. Finally, we compared the U-AM performance with the supervised one which is built from the same acoustic training corpus with manual transcriptions. Supervised acoustic model performs only 0.4% better than the U-AM (12.7% to 12.3%).
Benzer Tezler
- Evli çiftlerde; benlik farklılaşmasının ilişki doyumu, ilişki uyumu, çatışma çözme tepkileri, ilişkide kıskançlık, ilişkide affedicilik ve eşe duygusal bağlılık açısından incelenmesi
An investigation of differentiation of self in married couples according to relationship satisfaction, relationship adjustment, conflict resolution reactions, jealousy in relationship, forgiveness in relationship and emotional dependency
ARZUN BOLDAZ TELLİ
Yüksek Lisans
Türkçe
2019
PsikolojiÜsküdar ÜniversitesiKlinik Psikoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÇİĞDEM YAVUZ GÜLER
- Bootstrap yöntemler ve doğrusal regresyon modellerine uygulanması
Başlık çevirisi yok
L. AYLİN AKTÜKÜN
Doktora
Türkçe
2002
Ekonometriİstanbul ÜniversitesiEkonometri Ana Bilim Dalı
YRD. DOÇ. DR. ENİS SINIKSARAN
- A computational approach to nonparametric regression: Bootstrapping CMARS method
Parametrik olmayan regresyon modeline hesaplamalı bir yaklaşım: Konik çok değişkenli uyarlanabilir regresyon eğrilerine (KÇURE) koruyan halka yönteminin uygulanması
CEYDA YAZICI
Yüksek Lisans
İngilizce
2011
İstatistikOrta Doğu Teknik Üniversitesiİstatistik Bölümü
DOÇ. DR. İNCİ BATMAZ
- Uzun süreli müzik bilgisine dayalı görsel-uzamsal önyüklemenin çalışma belleğine etkisi
Visuospatial bootstrapping effect based on long-term music knowledge on working memory
ÖYKÜ ALPARSLAN
- Morphological annotation of a corpus with a collaborative multiplayer game
Çok oyunculu ve yardımlaşmacı bir oyun aracılığıyla Türkçe bir derlemin biçimbilimsel işaretlenmesi
ONUR GÜNGÖR
Yüksek Lisans
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUNGA GÜNGÖR