A novel deep learning approach for controlled multi-topic text generation
Kontrollü çok konulu metin üretimi için yeni bir derin öğrenme yaklaşımı
- Tez No: 761956
- Danışmanlar: DOÇ. DR. KASIM MURAT KARAKAYA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Denetlenebilir sistemler, Doğal dil işleme, Metin oluşturmak, Metin sınıflandırma, Controllable systems, Natural language processing, Textual constrction, Text categorization
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Atılım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
One of the most important tasks in the Controllable Text Generation (CTG) domain is to create topic-controlled texts. In this study, we propose and design three different approaches, and conduct extensive experiments on them to observe the performance of the controlled multi-topic reviews generated in Turkish. In the first approach, we generate controlled multi-topic text using a single-layer GPT language model by incorporating several control techniques. To control the language model, we first add topic information to the sequential input, as a second technique we add the automatically extracted keywords for each topic to the sequential input in addition to the first technique. The last technique that we propose is a novel sampling strategy. We propose to use a topic selection classifier that enables the next token selection according to the probability of the selected tokens being on the desired topic. Then, we apply these approaches to a more advanced language model, the multi-layer GPT, and interpret the results. In addition to these experiments, we compare three different deep learning text classification models in order to create a reliable multi-topic review classifier.
Özet (Çeviri)
Kontrollü Metin Üretimi alanındaki en önemli görevlerden biri konu kontrollü metinler yaratmaktır. Bu çalışmada, Türkçe olarak üretilen kontrollü çok konulu metinlerin performansını gözlemlemek için üç farklı yaklaşım öneriyor, tasarlıyor ve bunlar üzerinde kapsamlı deneyler yapıyoruz. İlk yaklaşımda, üç kontrol tekniğini birleştirerek tek katmanlı bir GPT dil modeli kullanarak kontrollü çok konulu metin üretiyoruz. Dil modelini kontrol etmek için önce sıralı girişe konu bilgisi ekliyoruz, ikinci teknik olarak ilk tekniğe ek olarak sıralı girişe her konu için otomatik olarak çıkarılan anahtar kelimeleri ekliyoruz. Sunduğumuz son teknik, yeni bir örnekleme stratejisidir. Seçilen belirteçlerin istenen konuda olma olasılığına göre bir sonraki belirteç seçimini sağlayan bir konu seçim sınıflandırıcısı kullanmayı öneriyoruz. Ardından, bu yaklaşımları daha gelişmiş bir dil modeli olan çok katmanlı GPT'ye uygulayıp ve sonuçları yorumluyoruz. Bu deneylere ek olarak, güvenilir bir, çok konulu metin sınıflandırıcısı oluşturmak için üç farklı derin öğrenme metin sınıflandırma modelini karşılaştırıyoruz.
Benzer Tezler
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM
- Çimentonun sertleşmesi üzerinde kimyasal komponentlerin etkisi
Başlık çevirisi yok
NACİYE TÜRKEL
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- Bazı esterlerin kinetik incelenmesi ve termodinamik parametrelerin belirlenmesi
Kinetic study and detesmination of thermodnamic parameters of some esters
İBRAHİM TAŞ
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- İzmir'de bazı yolların kapatılarak yaya bölgeleri oluşturma da kent peyzajını geliştirme açısından yeniden planlanması üzerinde araştırmalar
Başlık çevirisi yok
BAHAR TÜRKYILMAZ
Yüksek Lisans
Türkçe
1985
Şehircilik ve Bölge PlanlamaEge ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
- Atherosklerotik kalp hastalıklarında risk faktörleri
Risk factors in the coronary artery disease
MURAT SUHER