Text generation with recurrent neural networks
Yenilenen sinir ağları ile metin üretimi
- Tez No: 849742
- Danışmanlar: DOÇ. DR. SERKAN SAVAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Çankırı Karatekin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: 52
Özet
Bu çalışma, doğal dil işleme (NLP) alanını geliştirmeyi amaçlayan kapsamlı bir çalışmaya derinlemesine dalıyor. Bu model, tekrarlayan sinir ağları (RNN) ile Uzun Kısa Süreli Bellek (LSTM) katmanlarının gücünden yararlanarak, metin üretimini geliştirmek için bağlamsal anlamayı odak noktası haline getiriyor. Çalışma, bu modelin performansını Nietzsche ve Shakespeare'e atfedilen tarihsel veri setleriyle titizlikle karşılaştırarak, karmaşık dil yapılarını ele almadaki etkinliğini ve verimliliğini sergiliyor. Bu araştırmanın temelinde, gelişmiş bağlamsal analizi dil modeli eğitimine entegre ederek geleneksel metin üretim metodolojilerini aşma hedefi bulunmaktadır. Bu yaklaşım, bağlamın ve kelimeler arasındaki anlamsal ilişkilerin daha derin bir anlayışının, üretilen metnin doğruluğunu ve tutarlılığını önemli ölçüde artırabileceği hipotezine dayanmaktadır. Bu hipotezi test etmek için çalışma, dildeki bağlamı anlamak için hayati bir özellik olan veri dizilerindeki uzun süreli bağımlılıkları koruma kapasitesiyle bilinen LSTM katmanlarına sahip en son RNN mimarisini kullanmaktadır. Bu çalışmada benimsenen metodoloji çok yönlüdür. Öncelikle, araştırma ekibi, eğitim verilerinden türetilen bağlam vektörlerini analiz etmek için bir kümeleme tekniği uygulamaktadır. Bu teknik, bu vektörler içindeki kelimeler arasındaki mesafeleri hesaplamayı ve anlamsal yakınlıklarını değerlendirmeyi içerir. Bu yöntem, cümleler içindeki anlamı iletmekte kilit rol oynayan kelimeleri belirlemekte ve vurgulamakta önemlidir. Ardından, model, bu bağlam vektörleri kullanılarak, geleneksel girdi verileriyle birlikte eğitilerek, daha dil bilimsel açıdan yetkin bir üretim modeli oluşturmak için eğitilir. Çalışmanın sonuçları, modelin metin üretimindeki üstünlüğünü göstermektedir. Nietzsche'nin veri setine uygulandığında, model %95.21 etkileyici bir doğruluk ve sadece 0.25'lik bir kayıp ile başarılı oldu. Buna karşılık, modelin Shakespeare verilerindeki performansı, biraz daha düşük olmasına rağmen yine de dikkate değerdi ve %91.25 doğruluk ve 0.3876 kayıp elde etti. Bu sonuçlar, dil modeli eğitiminde bağlam vektörlerinin kullanımının etkinliğini doğrulamanın yanı sıra, modelin farklı edebi stiller ve dönemler arasındaki çok yönlülüğünü de vurgulamaktadır. Ayrıca, çalışma, eğitim süreci içinde yenilikçi bir geri bildirim mekanizması tanıtıyor. Bu mekanizma, modelin sürekli değerlendirilmesini ve ayarlanmasını sağlayarak, model yeterli doğruluk ve güvenilirlik seviyesine ulaştığında eğitimin sadece o zaman durdurulmasını sağlar. Bu yinelemeli eğitim ve test yaklaşımı, insan dilinin inceliklerine iyi ayarlanmış sağlam bir modelin geliştirilmesini garanti eder. Sonuç olarak, bu çalışma, dil modellerinde bağlama dayalı eğitimin etkinliğini göstererek NLP alanına önemli bir katkıda bulunmaktadır. LSTM katmanlarının kullanımı, bağlam vektör analizi için kümeleme yöntemleriyle birlikte, karmaşık metin yapılarını anlama ve üretme konusunda yenilikçi bir yaklaşım sağlar. Bu modelin çeşitli veri setlerindeki başarısı, çeşitli NLP görevlerinde uygulanabilirliğinin potansiyelini vurgulamakta ve daha sofistike ve doğru metin üretim teknolojileri için yol açmaktadır.
Özet (Çeviri)
This study delves into a comprehensive study aimed at advancing the field of natural language processing (NLP) through the development of a refined language model. This model leverages the power of recurrent neural networks (RNN) with Long Short Term Memory (LSTM) layers, focusing on contextual understanding for enhanced text generation. The study meticulously compares the performance of this model against historical datasets attributed to Nietzsche and Shakespeare, showcasing its effectiveness and efficiency in handling complex linguistic structures. At the core of this research is the objective to surpass traditional text generation methodologies by integrating advanced contextual analysis into the training of language models. This approach is rooted in the hypothesis that a deeper understanding of context and the semantic relationships between words can significantly improve the accuracy and coherence of generated text. To test this hypothesis, the study employs a state-of-the-art RNN architecture equipped with LSTM layers, known for their capacity to retain long-term dependencies in data sequences, a crucial feature for understanding context in language. The methodology adopted in this study is multi-faceted. Firstly, the research team applies a clustering technique to analyze the context vectors derived from the training data. This technique involves calculating the distances between words within these vectors and assessing their semantic proximity. This method is instrumental in identifying and emphasizing words that are pivotal in conveying meaning within sentences. Subsequently, the model is trained using these context vectors, alongside the traditional input data, to create a more linguistically adept generation model. The results of the study are indicative of the model's superiority in text generation. When applied to Nietzsche's dataset, the model achieved an impressive accuracy of 95.21% with a loss of just 0.25. In contrast, the model's performance on Shakespeare's data, though slightly lower, was still remarkable, achieving an accuracy of 91.25% and a loss of 0.3876. These results not only affirm the efficacy of using context vectors in language model training but also underscore the model's versatility across different literary styles and epochs. Moreover, the study introduces an innovative feedback mechanism within the training process. This mechanism allows for continuous evaluation and adjustment of the model, ensuring that training is halted only when the model reaches a satisfactory level of accuracy and reliability. This iterative approach to training and testing guarantees the development of a robust model that is well-tuned to the nuances of human language. In conclusion, this study makes a significant contribution to the field of NLP by demonstrating the effectiveness of context-based training in language models. The use of LSTM layers, in conjunction with clustering methods for context vector analysis, provides a novel approach to understanding and generating complex text structures. The success of this model on diverse datasets highlights its potential applicability in various NLP tasks, paving the way for more sophisticated and accurate text generation technologies.
Benzer Tezler
- Yenilikçi problem çözümlerinde yapay zeka tabanlı karar destek sistemi oluşturma
Creating an ai-based decision support system with innovative problem solutions
SEHER SOLMAZ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
PROF. DR. MAHİR DURSUN
- Yeni nesil derin bağlamsallaştırılmış kelime gösterimleri ve derin öğrenme modelleriyle finansal haberler kullanarak borsa tahminlemesi
Stock generation estimation using financial news with new generation deep contextualized word display and deep learning models
DERYA OTHAN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDoğuş ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZEYNEP HİLAL KİLİMCİ
- Generating ad creatives using deep learning for search advertising
Arama motoru reklamcılığı için derin öğrenme kullanarak reklam oluşturma
KEVSER NUR ÇOĞALMIŞ
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Sabahattin Zaim ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. AHMET BULUT
- Analyzing social media data and predict personal and business information from it
Sosyal medya verilerini analiz etmek ve bitten kişisel ve iş bilgilerini tahmin etmek
SAMER EMAD NIEMA AL-IBADI
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Assist. Prof. Dr. MESUT ÇEVİK
- İstatistiksel doğal dil işlemede derin öğrenme yöntemleri kullanılarak çevrimiçi Türkçe akademik derlem çözümlenmesi
Analysing Turkish academical corpus using deep learning methods in statistical natural language
BARIŞ BABÜROĞLU
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKahramanmaraş Sütçü İmam ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. MEHMET TEKEREK