Geri Dön

Using eigenvoices and nearest-neighbours in HMM-based cross-lingual speaker adaptation with limited data

Sınırlı veriyle HMM tabanlı çapraz-dil konuşmacı uyarlamasında özses ve en yakın komşu kullanımı

PDF İndir

  1. Tez No: 478622
  2. Yazar: SEYYED SAEED SARFJOO
  3. Danışmanlar: YRD. DOÇ. DR. CENK DEMİROĞLU
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: Özyeğin Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 123

Özet

Ses sentezi için çapraz-dilli konuşmacıya uyarlanma, sesten sese çeviri sistemleri gibi birçok kullanım alanına sahiptir. Bu tezde, sınırlı uyarlama verilerini kullanan istatistiksel konuşma sentezi sistemleri için çapraz-dilli uyarlamaya odaklanılmış ve HMM-/DNN-tabanlı konuşma sentezinde yeni yöntemler önerilmiştir. Bu amaçla, topladığımız iki dilli bir Türkçe-İngilizce konuşma veritabanını kullanarak HMM-tabanlı konuşma sentezi için, iki özses uyarlama yaklaşımı önermekteyiz. Bir yaklaşımda, Türkçe uyarlama verileri ve Türkçe ses modeli kullanılarak çıkarılan özses ağırlıkları doğrusal bağlanım kullanılarak İngilizce ses modelleri için özses ağırlıklarına dönüştürülmüştür. Doğrusal bağlanım esnasında referans konuşmacıların hedef konuşmacılara olan mesafesine bağlı olarak örneklerin ağırlıklandırılmasının performansı arttırdığı gözlemlenmiştir. Dahası, bağlanım sırasında özvektörlerin elemanlarının önem ağırlıklandırılması performansı daha da geliştirmiştir. Burada önerilen ikinci yaklaşım temel sistem olan durumharitalama algoritmasından hem nesnel hem de öznel testlerde daha iyi performans gösteren konuşmacıya özel durumharitalamasıdır. Temel sistemde kullanılan doğrusal bağlanım temelli algoritmalar yerine dil içi öz ses yaklaşımı ile birlikte kullanıldığında, önerilen durumharitası algoritmasının performansı daha da artmıştır. Hızlı uyarlanma yöntemlerinin yanında, çapraz-dilli, DNN-tabanlı konuşma sentezi için bir güdümsüz uyarlama yöntemi önerilmiştir. Bu yöntemde, hedef konuşmacının akustik özellik dizisi kullanılarak, etiketlenmemiş veriler için sürekli dil özellikleri tahmin edilmiştir. Hem nesnel hem de öznel deney sonuçlarında, uyarlanan modelin cinsiyete bağlı ortalama ses modellerini kalite ve benzerlik açısından geçtiği gözlenmiştir.

Özet (Çeviri)

Thesis abstract: Cross-lingual speaker adaptation for speech synthesis has many applications, such as use in speech-to-speech translation systems. Here, we focus on cross-lingual adaptation for statistical speech synthesis systems using limited adaptation data. We propose new methods on HMM-based and DNN-based speech synthesis. To that end, for HMM-based speech synthesis we propose two eigenvoice adaptation approaches exploiting a bilingual Turkish-English speech database that we collected. In one approach, eigenvoice weights extracted using Turkish adaptation data and Turkish voice models are transformed into the eigenvoice weights for the English voice models using linear regression. Weighting the samples depending on the distance of reference speakers to target speakers during linear regression was found to improve the performance. Moreover, importance weighting the elements of the eigenvectors during regression further improved the performance. The second approach proposed here is speaker-specific state-mapping which performed signicantly better than the baseline state-mapping algorithm both in objective and subjective tests. Performance of the proposed state mapping algorithm was further improved when it was used with the intra-lingual eigenvoice approach instead of the linear-regression based algorithms used in the baseline system. We propose new unsupervised adaptation method for DNN-based speech synthesis. In this method, using sequence of acoustic features from target speaker, we estimate continuous linguistic features for unlabeled data. Based on objective and subjective experiments, adapted model outperformed the gender-dependent average voice models in terms of quality and similarity.

Benzer Tezler

  1. Tez No

    371123

    Speaker adaptation with minimal data in statistical speech synthesis systems

    İstatistiksel ses sentezi sistemlerinde çok az veri ile konuşmacıya uyarlanma yöntemleri

    AMİR MOHAMMADİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. CENK DEMİROĞLU

  2. Tez No

    81691

    Türkiye'de uygulanan sekiz yıllık kesintisiz zorunlu eğitim kapsamı içindeki yabancı dil öğretim programında bilgi teknolojisi araçlarından yararlanma

    Using information technologies in the foreign language teaching curriculum within the scope of the eight year compulsory education applied in Turkey

    FİLİZ ETİZ

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Eğitim ve ÖğretimAnkara Üniversitesi

    Yabancı Dil Öğretimi Ana Bilim Dalı

    DR. MEHMET HENGİRMEN

  3. Tez No

    81853

    Using suprasegmental phonology in English language teaching

    Yabancı dil öğretiminde parçalarüstü sesbirimlerin kullanımı

    COLLEEN RİDGEWAY

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    DilbilimHacettepe Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. MEHMET DEMİREZEN

  4. Tez No

    82225

    Using the internet and electronic mail in writing classes: A study on the reactions and success of preparatory students at Işık University

    İnternet ve elektronik postanın yazı derslerinde kullanımı: Işık Üniversitesi hazırlık öğrencilerinin tepkileri ve başarısı üzerine bir durum çalışması

    BURÇAK DENİZ GÜRKAYA

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    DOÇ. DR. DENİZ ZEYREK

  5. Tez No

    82244

    Using real exchange rates for measuring international competitiveness: The Turkish case

    Uluslararası rekabet gücünün ölçülmesinde reel kurların kullanılması: Türkiye örneği

    PINAR ÖZBAY

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    EkonomiOrta Doğu Teknik Üniversitesi

    İktisat Ana Bilim Dalı

    DOÇ. DR. GÜZİN ERLAT

Geri Dön