Deep learning methods with pre-trained word embeddings and pre-trained transformers for extreme multi label text classification
Çoklu etiket sınıflandırması için önceden eğitilmiş kelime vektörleri ve önceden eğitilmiş transformer modelleri ile derin öğrenme yöntemleri
- Tez No: 724931
- Danışmanlar: DR. ÖĞR. ÜYESİ ABDÜL KADİR GÖRÜR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Çankaya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 47
Özet
Son yıllarda, çevrimiçi metin belgelerinde dikkat çekici sayısal bir artış olduğu görülmektedir. Bu artış, metni birçok farklı alanda sınıflandırmak için oldukça gelişmiş makine öğrenimi yöntemlerinin oluşturulmasını gerektiriyor. Bu makine öğrenimi yöntemlerinin etkinliği, yapılandırılmamış verilerin karmaşık doğasını ve var olan özelliklerin ilişkilerini anlamak için model kapasitesine bağlıdır. Metin sınıflandırma problemlerini çözmek için uzun süredir SVM, kNN, Rocchio sınıflandırması gibi birçok farklı makine öğrenmesi yöntemi önerilmiştir. Bu sığ öğrenme yöntemleri, pek çok farklı alanda şüphesiz başarıya ulaşmıştır. Metin gibi büyük ve yapılandırılmamış veriler için, herhangi bir özellik çıkarma yöntemi kullanmadan giriş verilerinden temsilleri ve özellikleri öğrenebilen derin öğrenme yöntemleri önemlil çözümlerden biri olarak gösterilmiştir. Bu çalışmada, basit RNN, CNN modellerinden önceden eğitilmiş transformer modellerine kadar çok etiketli metin sınıflandırması için son önerilen derin öğrenme yöntemlerinin doğruluğunu araştırıyoruz. Bu yöntemlerin performanslarını çok etiketli değerlendirme ölçütlerini hesaplayarak değerlendirdik ve sonuçları önceki çalışmalarla karşılaştırdık.
Özet (Çeviri)
In recent years, there appears to be a remarkable increase int the number of textual documents online. This increase requires the creation of highly improved machine learning methods to classify text in many different domains. The effectiveness of these machine learning methods depends on the model capacity to understand the complex nature of the unstructured data and the relations of the features that exist. Many different machine learning methods were proposed for a long time to solve text classification problems, such as SVM, kNN and Rocchio classification. These shallow learning methods have achieved doubtless success in many different domains. For big and unstructured data like text, deep learning methods which can learn representations and features from the input data without using any feature extraction methods have shown to be one of the major solutions. In this study, we explore the accuracy of recent recommended deep learning methods for multi-label text classification starting with simple RNN, CNN models to pre-trained transformer models. We evaluated these methods' performances by computing multi-label evaluation metrics and compared the results with the previous studies.
Benzer Tezler
- Derin öğrenme yöntemleri ile zaman serisi tahmini
Time series classification with deep learning methods
HAKAN GÜNDÜZ
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ZEHRA ÇATALTEPE
- Predicting and analyzing rna and protein modifications by combining deep protein language models with transformers
Derin protein dil modellerini transformatörlerle birleştirerek rna ve protein modifikasyonlarini tahmin etmek ve analiz etmek
NECLA NİSA SOYLU
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE SEFER
- Drug-target affinity prediction using a graph-based approach enriched with molecule words
Molekül kelimeleriyle zenginleştirilmiş ağ çizgesi yaklaşımlı ilaç-protein etkileşimi tahmini
CANSU DAMLA YILMAZ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN
- Oyun karakteri üretimi için üretken modeller
Generative models for game character generation
FERDA GÜL AYDIN EMEKLİGİL
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ
- Büyük veride derin öğrenme algoritmaları kullanılarak metin analizinin gerçekleştirilmesi
Application of text analysis processing using deep learning algorithms in big data
MURAT AYDOĞAN
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ KARCI