Geri Dön

Metin sınıflandırması için pekiştirmeli öğrenme: Politika-gradyan metotlarının farklı topolojiler üzerinde değerlendirilmesi

Reinforcement learning for text classification: An evaluation of policy-gradient methods with various topologies

PDF İndir

  1. Tez No: 826666
  2. Yazar: EMRE BATUHAN BALOĞLU
  3. Danışmanlar: PROF. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 66

Özet

Pekiştirmeli öğrenmenin (RL) doğal dil işleme (NLP) görevlerindeki kullanımı son yıllarda hız kazanmıştır. Bu tezde, dönüştürücüler (transformer) ve büyük dil modelleri (LLM'ler) gibi çeşitli derin öğrenme topolojilerinin, özellik çıkarma sürecine bir pekiştirmeli öğrenme çerçevesi içinde entegre edilmesiyle, metin sınıflandırma problemine geliştirilmiş bir yaklaşım sunuyoruz. Önerilen yöntemde, pekiştirmeli öğrenme politikaları, bir metin bölümünü gözlemlemek ve metni sınıflandırmak veya metnin bir sonraki bölümüne geçmek konusunda karar vermek için eğitilir. Politikalar, REINFORCE (Williams, 1992) algoritmasıyla optimize edilir ve bunun için tasarlanmış bir ödül sinyali kullanılır. Önerilen yöntemin etkinliği, standart metin sınıflandırma veri kümeleri üzerinde, diğer güncel modellerle karşılaştırılarak değerlendirildi ve önerilen yaklaşımın verimlilik açısından üstünlüğü ve tutarlılık açısından küçük bir performans kaybı gösterdiği görülmüştür. Sonuçlar, büyük dil modellerinin özellik çıkarma sürecinde kullanılması ve tasarlanmış ödül sinyali ile pekiştirmeli öğrenme politikalarının birleştirilmesinin etkili ve verimli metin sınıflandırma modellerinin geliştirilmesi için umut verici bir yol sağladığını göstermektedir.

Özet (Çeviri)

Usage of reinforcement learning (RL) in natural language processing (NLP) tasks has gained momentum in recent years. In this thesis, we present an improved approach to the task of text classification through the integration of various deep learning topologies such as transformers and large language models (LLMs) into the feature extraction process within a reinforcement learning framework. In this proposed method, the RL policies are trained to observe a portion of the text and determine whether to classify the text or to proceed to the next part of the document. The policies were optimized with the REINFORCE (Williams, 1992) algorithm utilizing a designed reward signal. The effectiveness of the proposed method was evaluated and compared against other state-of-the-art models on standard text classification benchmark datasets, demonstrating the superiority of the proposed approach in terms of efficiency while losing little performance in accuracy. The results indicate that the use of the LLMs in the feature extraction process, coupled with RL policies with designed reward signals, provides a promising avenue for the development of effective and efficient text classification models.

Benzer Tezler

  1. Tez No

    674932

    Evolutionary adaptation and dopamine modulated learning in spiking neural networks

    Atımlı sinir ağlarında evrimsel adaptasyon ve dopamin modülasyonlu öğrenme

    ABDURREZAK EFE

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilim ve Teknolojiİhsan Doğramacı Bilkent Üniversitesi

    Malzeme Bilimi ve Nanoteknoloji Ana Bilim Dalı

    YRD. DOÇ. DR. SEYMUR JAHANGIROV

  2. Tez No

    813001

    The relation between vocabulary learning strategies and foreign language reading anxiety among Turkish EFL learners

    Türkiye'de İngilizceyi yabancı dil olarak öğrenenlerin kelime öğrenme stratejileri ile yabancı dilde okuma kaygıları arasındaki ilişki

    AYSU BEGÜM KARAGÖL ÖZKUL

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Eğitim ve Öğretimİstanbul Medeniyet Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FERDANE DENKCİ AKKAŞ

  3. Tez No

    429271

    Arap dilinde edatların metinde kurduğu anlamsal ilişkiler

    Semantic relationships of prepositions within text in Arabic language

    ABDULLAH HACİBEKİROĞLU

    Doktora

    Türkçe

    Türkçe

    2015

    DilbilimYıldırım Beyazıt Üniversitesi

    Temel İslam Bilimleri Ana Bilim Dalı

    YRD. DOÇ. DR. MUHAMMET MÜCAHİT ASUTAY

  4. Tez No

    770698

    Metin sınıflandırması için sınıflandırıcı topluluğu yaklaşımları

    Ensemble methods for text classification

    İSMAİL TERZİ

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALPER KÜRŞAT UYSAL

  5. Tez No

    418367

    Corpus-based semantic kernels for supervised and semi-supervised text classification

    Eğiticili ve yarı-eğiticili metin sınıflandırması için derlem tabanlı anlambilimsel çekirdekler

    AYŞE BERNA ALTINEL

    Doktora

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BANU DİRİ

    YRD. DOÇ. DR. MURAT CAN GANİZ

Geri Dön