Derin öğrenme tabanlı uçtan uca Türkçe konuşma sentezleme sistemi
Deep learning based end to end Turkish speech synthesis system
- Tez No: 816333
- Danışmanlar: DOÇ. DR. HÜSEYİN POLAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Doğal dil işleme, Metin seslendirme, Natural language processing, Text to speech
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Konuşma sentezleme sistemi, insan benzeri doğal konuşmaları üretmek için geliştirilen bir yapay zeka teknolojisidir. Bu sistem, metin girdilerini alır ve bunları gerçekçi ve akıcı sesli çıktılara dönüştürmek için derin öğrenme algoritmalarını kullanır. Bu çalışmada öncelikle derin öğrenme modelini eğitmek için, Türkçe doğal konuşma örnekleri üzerinde kapsamlı bir veri toplama süreci gerçekleştirilmiştir. Bu veriler, bir genç erkek konuşmacı tarafından İstanbul Türkçesi olarak kaydedilen konuşma örneklerini içermektedir. Bu veriler yaklaşık 13 saat uzunluğundadır. Daha sonra veri kümesi kullanılarak GlowTTS mimarisi ile her biri 261 adım olan 500 çevrimlik model ile eğitilerek derin öğrenme tabanlı bir Türkçe konuşma sentezleme sistemi geliştirilmiştir. Geliştirilen konuşma sentezleme sisteminin performansı farklı ölçütlerle değerlendirilmiştir. Ortalama görüş puanı deneyi, spektrogramların değerlendirilmesi, çapraz korelasyon ve sanal konuşma kalitesi nesnel dinleyici (SKKND) testleri kullanılarak sistemin başarısı analiz edilmiştir. Elde edilen sonuçlara göre, sistemin OGP 2,79, çapraz korelasyon değeri 51,09 ve SKKND puanı 2,32 olarak belirlenmiştir. OGP, kullanıcıların konuşma kalitesini değerlendirmesiyle ortaya çıkan bir ölçüt olarak sistemin tatmin edici bir performans sergilediğini göstermektedir. Çapraz korelasyon değeri ise orijinal ses ve sentezlenen ses arasındaki benzerliğin ortalama olduğunu göstermektedir. SKKND puanı ise konuşmanın algısal kalitesini değerlendiren bir ölçüt olarak sistem tarafından üretilen konuşmanın tatmin edici olduğunu göstermektedir. Bu çalışma, Türkçe konuşma sentezleme sistemlerinin performansını değerlendirmek için nesnel ölçütlerin kullanılabileceğini göstermektedir. Sonuçlar, gelecekteki çalışmalarda sistem iyileştirmelerine ve kullanıcı deneyimini artırmaya yönelik önemli bilgiler sağlamaktadır. Bu sistemin daha önceki Türkçe konuşma sentezleme çalışmalarında karşılaşılan doğallık ve anlaşılırlık sorunlarına çözüm getirmesi amaçlanmıştır.
Özet (Çeviri)
The speech synthesis system is an artificial intelligence technology developed to generate human-like natural conversations. This system takes text inputs and utilizes deep learning algorithms to convert them into realistic and fluent vocal outputs. In this study, an extensive data collection process was conducted initially to train the deep learning model using Turkish natural speech samples. The dataset comprises speech examples recorded in Istanbul Turkish by a young male speaker, totaling approximately 13 hours. Subsequently, a Turkish speech synthesis system based on deep learning was developed by training 500 iterations of the GlowTTS architecture, each consisting of 261 steps, using the collected dataset. The performance of the developed speech synthesis system was evaluated using different criteria. Experimentation involved Mean Opinion Score (MOS), spectrogram evaluation, cross-correlation, and the virtual speech quality objective listener (ViSQOL) test to analyze the system's success. The results obtained from these evaluations revealed an MOS of 2.79, a cross-correlation value of 51.09, and an ViSQOL score of 2.32 for the system. The MOS indicates that the system achieved satisfactory performance based on user evaluations of speech quality. The cross-correlation value suggests an average similarity between the original and synthesized speech. Furthermore, the ViSQOL score demonstrates that the system-generated speech was perceived as satisfying when assessing its perceptual quality. This study demonstrates the use of objective criteria in evaluating the performance of Turkish speech synthesis systems. The findings provide crucial information for future research, aimed at system improvements and enhancing user experience. The objective of this system is to address the naturalness and intelligibility issues encountered in previous Turkish speech synthesis studies.This master's thesis aims to present the results of a research conducted on a deep learning-based end-to-end Turkish speech synthesis system.
Benzer Tezler
- Kendi kendine denetimli öğrenme tabanlı Türkçe konuşma tanıma sistemi
Self-supervised learning based Turkish speech recognition system
ALP KAAN TURAN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HÜSEYİN POLAT
- Yapay zeka tabanlı triaj asistanı
Artificial intelligence based triage assistant
MUHAMMAD SHEHARYAR BUTT
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSiirt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZÜLEYHA YİNER
- Keyword extraction from speech data using center based clustering
Merkez tabanlı kümeleme kullanarak konuşma verilerinden anahtar kelime çıkartılması
HAKKI YAVUZ ERZURUMLU
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YUSUF SİNAN AKGÜL
- Derin öğrenme tabanlı konuşma tanıma sistem tasarımı
Deep learning based speech recognition system design
BURAK KORCUKLU
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Uludağ ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET EMİR DİRİK
- Konuşma duygusu tanımada derin öğrenme tabanlı modellerin karşılaştırmalı analizi
Comparative analysis of deep learning-based models in speech emotion recognition
SEÇKİN YILDIZ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Bakırçay ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE ÖLMEZ