Çizge evrişimli sinir ağları kullanılarak metin sınıflandırma
Text classification using graph convolutional networks
- Tez No: 805511
- Danışmanlar: DOÇ. DR. ABDURRAHİM AKGÜNDOĞDU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Metin Sınıflandırma, Çizge Evrişimli Sinir Ağları, Metin Madenciliği, Text Classification, Graph Convolutional Neural Networks, Text Mining
- Yıl: 2023
- Dil: Türkçe
- Üniversite: İstanbul Üniversitesi-Cerrahpaşa
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 102
Özet
Metin sınıflandırma, doğal dil işlemede yaygın olarak kullanılan önemli bir görevdir. Bir metnin sınıfını belirlemek, metin verilerinin anlamını çözümlemek ve bu verilerden yararlı bilgiler elde etmek için gereklidir. Metin sınıflandırma; konu etiketleme, spam tespiti ve duygu analizi gibi uygulamalarda kullanılabilir. Metinlerin sınıflandırılması işlemi belirli anahtar kelimelere dayalı kural tabanlı yaklaşımlarla yapılabileceği gibi sınıflandırma için yapay zekâ temelli bazı sınıflandırma algoritmaları da kullanılabilir. Yapay zekâ temelli metin sınıflandırma algoritmaları, yapısal olmayan metin verilerini işleyebilmek için, metinlerin özelliklerini çıkararak sayısal bir vektör olarak temsil etmeyi gerektirir. Bu işleme vektör temsili denir. Bu tez çalışmasında, metin sınıflandırma için kullanılan vektör temsil yöntemleri incelenmiş ve yapay zekâ temelli 4 algoritma ile iki Türkçe veri seti üzerinde deneyler yapılmıştır. Veri setlerinden biri TTC4900 adlı 7 kategorili bir haber metni veri seti, Sosyal Medya Verileri 2 kategorili bir duygu analizi veri setidir. Deneylerde Naive Bayes (NB), Evrişimli Sinir Ağları (ESA), Tekrarlayan Sinir Ağları (RNN) ve Çizge Evrişimli Sinir Ağları (GCN) modelleri kullanılmıştır. NB, ESA ve RNN modellerinde metinleri sayısallaştırmak için TF-IDF ve Sayma Vektörleştirici (Kelime Çantası) yöntemleri kullanılmıştır. Bu modellerin performansları GCN modeli ile karşılaştırılmıştır. GCN modeli ise metin sınıflandırma alanında yeni ve farklı bir yaklaşım sunmaktadır. Bu yaklaşımda metinler çizge yapısı şeklinde temsil edilerek, kelimeler arasındaki bağlantılar ve anlamsal ilişkiler öğrenilmeye çalışılmaktadır. Böylece, metin sınıflandırma problemi düğüm sınıflandırma problemine indirgenmektedir. Metinleri çizge yapısı şeklinde temsil etmek için, belgelerden oluşan büyük bir çizge oluşturulmaktadır. Bu çizgede düğümler kelimeleri veya belgeleri, kenarlar ise kelimeler veya belgeler arasındaki ilişkileri göstermektedir. Kenarların ağırlıkları ise TF-IDF veya PMI gibi istatistiksel yöntemlerle hesaplanmaktadır. Oluşturulan bu çizge yapısı GCN modeline girdi olarak verilmekte ve model parametreleri eğitilmektedir. Bu çalışmada GCN modeli eğitimi için 200 epoch tanımlanmış ancak erken durdurma mekanizması ile eğitimde erken durdurma sağlanmıştır. Deney sonuçlarına göre, GCN modelinde TTC4900 veri seti için yüksek doğruluk sağlanmıştır. Sosyal Medya Verileri veri setinde diğer modellere nispeten doğruluk düşüktür. Ancak veri setinde eğitim verileri için farklı bir ayrım yapıldığında yüksek doğruluk oranına ulaşılmıştır. Bunun veri setindeki kayıtlardan ve ön işleme problemlerinden kaynaklandığı düşünülmektedir. Bu çalışmada elde edilen sonuçlar GCN modelinin metin sınıflandırma problemine etkili bir çözüm sunabileceğini göstermektedir.
Özet (Çeviri)
Text classification is an important and commonly used task in natural language processing. Determining the class of a text is necessary to analyze the meaning of text data and obtain useful information from it. Text classification can be used in applications such as topic labeling, spam detection, and sentiment analysis. The process of classifying texts can be done using rule-based approaches based on specific keywords, as well as artificial intelligence-based classification algorithms. Artificial intelligence-based text classification algorithms require extracting the features of texts and representing them as a numerical vector to process non-structural text data. This process is called vector representation. In this thesis study, vector representation methods used for text classification were examined, and experiments were conducted on two Turkish datasets using four artificial intelligence-based algorithms. One of the datasets is a 7-category news text dataset called TTC4900, and the other is a sentiment analysis dataset with 2 categories called Social Media Data. Naive Bayes (NB), Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), and Graph Convolutional Neural Networks (GCN) models were used in the experiments. TF-IDF and Bag-of-Words (Count Vectorizer) methods were used to digitize the texts in the NB, CNN, and RNN models. The performance of these models was compared with the GCN model. The GCN model presents a new and different approach in the field of text classification. In this approach, texts are represented in the form of a graph structure, and the connections and semantic relationships between words are learned. Thus, the text classification problem is reduced to a node classification problem. To represent texts in the form of a graph structure, a large graph consisting of documents is created. In this graph, nodes represent words or documents, and edges represent relationships between words or documents. The weights of the edges are calculated using statistical methods such as TF-IDF or PMI. This graph structure is given as input to the GCN model, and the model parameters are trained. In this study, 200 epochs were defined for training the GCN model, but early stopping mechanism was used to stop the training early. According to the experimental results, the GCN model achieved high accuracy for the TTC4900 dataset. The accuracy for the Social Media Data dataset is relatively low compared to other models. However, when a different distinction is made for the training data in the dataset, a high accuracy rate is achieved. This is thought to be due to the records in the dataset and preprocessing problems. The results obtained in this study show that the GCN model can provide an effective solution to the text classification problem.
Benzer Tezler
- Predicting software vulnerabilities and vulnerability inducing code changes using deep neural networks
Derin sinir ağlarını kullanarak yazılım güvenlik açıklarını ve güvenlik açığına sebep olan kod değişikliklerini tahmin etme
SEFA EREN ŞAHİN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞE TOSUN
- Spatiotemporal graph convolutional neural networks for motor imagery EEG classification
Motor imgeleme EEG sınıflandırmasında uzay-zaman çizge evrişimli sinir ağları
AHMED MOHAMED MOHAMED MOHAMED ALRAMLY
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ADEMOĞLU
- Lomber MR disk konumlarının en kısa yol algoritmalarının yapay sinir ağı sonuçlarına uygulanarak bulunması
Estimation of the lumbar disc positions by shortest path algorithms on neural network results
MERVE ZEYBEL
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YUSUF SİNAN AKGÜL
- Makine öğrenmesi yöntemleri kullanılarak çizgi karakter tespiti
Detection of comic character using machine learning methods
CANDAN TÜMER
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERDAL GÜVENOĞLU
DOÇ. DR. VOLKAN TUNALI
- Derin öğrenme yöntemleri ile Türkçede bağlılık ayrıştırma
Dependency parsing with deep learning methods in Turkish
MÜCAHİT ALTINTAŞ
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ