Kelime gömme yaklaşımlarının iadesiz torbalanmasına dayanan uzun kısa süreli bellek mimarisi ve metin sınıflandırmasına uygulanması
Long-short term memory architecture based on non-returnable baggigng of word embedding approaches and an application to text classification
- Tez No: 830420
- Danışmanlar: DOÇ. DR. NEVİN GÜLER DİNCER
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Metin sınıflandırma, Deep learning, Text categorization
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Muğla Sıtkı Koçman Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Metin sınıflandırma, doğal dil işlemenin temel uygulama alanlarından biridir. Metin sınıflandırma, metin verilerini sahip oldukları ayırt edici özellikler dikkate alınarak önceden belirlenen bir sınıfa atama süreci olarak tanımlanabilir. Duygu analizi, istenmeyen e-postaların tespit edilmesi, soru cevaplama, hastalık belirtilerine göre ilaç önerimi, haberleri içeriklerine göre kategorize etme gibi birçok problemin çözümü için metin sınıflandırmadan yararlanılmaktadır. Metin sınıflandırma, her biri sınıflandırma performansı üzerinde önemli etkiye sahip üç temel adımdan oluşmaktadır: i) metin önişleme, ii) özellik çıkarımı ve iii) sınıflandırma. Metin önişleme adımında, metin, gerekli olmayan kelime ve özel karakterlerden arındırma, kelime bölümleme, kelime kodlama gibi işlemlerden geçerek özellik çıkarım adımına hazır hale getirilir. Özellik çıkarım adımında, kelimeler sınıflandırma yöntemlerinin gerektirdiği sayısal verilere dönüştürülür. Word2vec, GloVe, FastText gibi kelime gömme yaklaşımları, kelimeler arasındaki bağlamsal ilişkileri, kelimelerin sözdizimsel ve semantik anlamlarını yakalayabilme yeteneklerinden dolayı literatürde yaygın olarak kullanılmaktadır. Metin sınıflandırmanın son aşaması, sayısallaştırılmış metinler ile sınıf etiketleri arasındaki ilişkiyi açıklayan sınıflandırıcının tahmin edilmesidir. Bu adım için kullanılan yöntemleri geleneksel makine öğrenmesi yöntemleri ve derin öğrenme dayalı yöntemler olarak iki ana başlık altında toplamak mümkündür. K-en yakın komşuluk, destek vektör makineleri, naive bayes, karar ağaçları metin sınıflandırmasında kullanılan geleneksel makine öğrenmesi yöntemlerine örnek olarak verilebilir. Benzer şekilde LSTM, CNN, RNN ve GRU gibi derin öğrenme mimarileri de metin sınıflandırmasında kullanılan ve oldukça başarılı sonuçlar üreten yöntemler arasındadır. Bu tez çalışmasının 3 ana amacı mevcuttur. Birincisi, Word2vec, GloVe ve FastText kelime gömme yaklaşımlarının sınıflandırma başarılarını karşılaştırmaktır. İkinci amacı kelime gömme yaklaşımlarının birleştirilmiş versiyonlarının sınıflandırma performansı üzerindeki etkisini araştırmaktır. Tezin son amacı ise, metin sınıflandırması için kelime gömme yaklaşımlarından elde edilen ağırlıklarının iadesiz torbalanmasına ve LSTM derin öğrenme mimarilerine dayanan yeni bir yaklaşım önermektir. Önerilen yöntemin temel amacı, geleneksel torbalama yöntemlerine benzer olarak, varyansı ve aşırı uyumu azaltmak ve birden fazla tahmin edicinin sonuçlarını birleştirerek sınıflandırma performansını iyileştirmektedir. Önerilen yaklaşımın performansını değerlendirmek amacıyla 4 farklı veri setine 28 farklı versiyonu uygulanmış ve sonuçlar Doğruluk, F ve Hassasiyet ölçüleri kullanılarak karşılaştırılmıştır. Karşılaştırmalar sonucunda, önerilen yöntemin sınıflandırma sonuçlarını iyileştirdiği sonucuna varılmıştır.
Özet (Çeviri)
Text classification is one of the main application fields of natural language processing. Text classification can be defined as the process of assigning text data to a predetermined class based on their distinctive features. Text classification is utilized for solving many problems such as sentiment analysis, detecting spam, answering questions, recommending drug according to disease symptoms, categorizing news according to their content. Text classification consists of three basic steps, each of which has a significant impact on classification performance: i) text preprocessing, ii) feature extraction, and iii) classification. In the text preprocessing step, the text is made prepared for the feature extraction step by going through processes such as removing stopwords and special characters, word segmentation, word encoding. In the feature extraction step, the words are converted into numerical data required by the classification methods. Word embedding approaches such as Word2vec, GloVe, FastText are widely used in the literature due to their ability to capture the contextual relationships between words and their syntactic and semantic meanings. The final stage of text classification is to predict a classifier, which describes the relationship between the digitized texts and the class labels. It is possible to collect the methods used for this step under two main titles as traditional machine learning methods and methods based on deep learning. K-nearest neighbors, support vector machines, naive bayes, decision trees are examples of traditional machine learning methods used in text classification. Similarly, deep learning architectures such as LSTM, CNN, RNN and GRU are among the methods used in text classification and producing very successful results. This thesis has three main objectives. The first is to compare the classification success of Word2vec, GloVe and FastText word embedding approaches. The second objective is to investigate the effect of combined versions of word embedding approaches on classification performance. The final objective of the thesis is to propose a new approach based on bagging without replacement of weights obtained from word embedding approaches and LSTM deep learning architectures for text classification. The main objective of the proposed method is to reduce variance and overfitting and to improve classification performance by combining the results of multiple classifiers, similar to traditional bagging methods. In order to evaluate the performance of the proposed approach, 28 different versions were applied to 4 different data sets and the results were compared using the Accuracy, F and Precision measures. As a result of the comparisons, it has been concluded that the proposed method improves the classification results.
Benzer Tezler
- Farklı kelime gömme yaklaşımlarının akademik makalelerden anahtar kelime çıkarımındaki performansının analizi
Performance analysis of various word embeddings for keyword extraction techniques from academic articles
GHAITH M I ASHQAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALEV MUTLU
- Study of word embedding rules and machine learning based text classification
Kelime gömme kuralları ve metin sınıflandırması tabanlı makine öğrenme üzerine bir çalışma
ASMAA AL-GARTANEE
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım ÜniversitesiMühendislik Sistemlerinin Modellenmesi ve Tasarımı Ana Bilim Dalı
PROF. DR. ALOK MISHRA
YRD. DOÇ. DR. ABDÜL KADİR GÖRÜR
- Ekonomik metin verileri ve piyasa göstergeleriyle kriz dönemlerinin erken tahmini: Zaman serisi yöntemleri, özelleştirilmiş transformer modelleri ve derin öğrenme yaklaşımlarının karşılaştırmalı uygulaması
Early prediction of crisis periods using economic text data and market indicators: A comparative application of time series methods, customized transformer models, and deep learning approaches
BAYRAM KOTAN
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce ÜniversitesiElektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERDAR KIRIŞOĞLU
- An investigation of the performance of text mining-based text representation and classification methods on different datasets
Farklı veri kümeleri üzerinde metin madenciliği tabanlı metin temsili ve sınıflandırma yöntemlerinin performansının incelenmesi
ABDULKERİM BEKAR
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiVeri Mühendisliği ve İş Analitiği Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ MEHMET ALİ ERGÜN
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR