Geri Dön

Multi-label and single-label text classification using standard machine learning algorithms and pre-trained BERT transformer

Standart makine öğrenimi algoritmaları ve önceden eğitilmiş BERT transformer kullanarak çok etiketli ve tek etiketli metin sınıflandırma

  1. Tez No: 782308
  2. Yazar: HUDA ALFIGI
  3. Danışmanlar: DOÇ. DR. ABDULKADİR GÜRER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Çankaya Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilişim Teknolojileri Bilim Dalı
  13. Sayfa Sayısı: 84

Özet

Doğal dil işleme (DDİ) araştırmaları, dijital belgelerin artan kullanılabilirliği ve bunlara çeşitli şekillerde erişme ihtiyacı nedeniyle son zamanlarda büyük ilgi görmüştür. Dijital metin verilerindeki patlama, çeşitli metin işleme ve sınıflandırma tekniklerinin geliştirilmesi ihtiyacını ortaya koymaktadır. DDİ'deki en temel ve hayati zorluk metin sınıflandırmasıdır. Bu amaçla, belgeleri ve metinleri içeriklerine göre önceden belirlenmiş kategorilere ayırmak için önerilmiştir ve o zamandan beri makine öğrenimini uygulamanın en popüler yöntemlerinden biri haline gelmiştir. Makine öğrenimi (MÖ) yaklaşımı, genel bir tümevarım yaklaşımının bir dizi sınıflandırılmış metin ve ilgi sınıflarının özelliklerini kullanarak özel olarak sınıflandırılmış bir metin oluşturmayı öğrendiği bir yöntemdir. Ayrıca, ilgili bilgilerin keşfedilmesi, fazla bilgi yükünü azaltırken bilgi alma verimliliğini artırmaya yardımcı olabilir. Geleneksel modeller, standart makine öğrenimi algoritmalarını kullanarak sınıflandırmadan önce iyi örnek nitelikleri elde etmek için genellikle yapay yöntemler gerektirir. Bu nedenle, özellik çıkarma yöntemin etkinliğini önemli ölçüde kısıtlar. Öte yandan, derin öğrenme, özellik temsillerinin çıktılara aktarılmasına yardımcı olan bir dizi doğrusal olmayan dönüşüm gerçekleştirerek özellik çıkarma işlemini model oluşturma yaklaşımına dahil ettiği için daha fazla ilgi gören tipik modellerden farklıdır. Ayrıca, derin öğrenme algoritmaları, uzmanların kuralları ve öznitelikleri tanımlama ihtiyacını ortadan kaldırır, bunun yerine metinler için otomatik olarak üst düzey anlamsal temsiller sağlar. Bu nedenle, bu çalışmalarda, BERT gibi önceden eğitilmiş modellerden elde edilen bağlamsal gömme yeteneklerini keşfediyoruz ve küçük bir İngilizce haber veri kümesinde uygulanacak bazı geleneksel makine öğrenimi yöntemlerine ek olarak, büyük bir İngilizce haber veri kümesindeki metin belgelerinin çok etiketli sınıflandırmasından yararlanıyoruz. Son olarak, BERT'in bir başka versiyonu olan Arapça BERT, Arapça bir otel incelemesi veri kümesinden çıkarılan yönlere yönelik duygu eğlimini araştırmaktadır.

Özet (Çeviri)

Natural language processing (NLP) research has received a great deal of attention in recent times, because of the increasing availability of digital documents and the resulting need to access them in various ways. The explosion of digital text data demonstrates the need to develop diverse text processing and classification techniques. The most essential and vital challenge in NLP is text classification. It was proposed for this purpose to classify documents and texts into pre-determined categories based on their contents, and it has since become one of the most popular methods of implementing machine learning. The machine learning (ML) paradigm is one where a generic inductive approach learns to create a privately classified text using a set of classified texts and the features of the classes of interests. Furthermore, discovering the relevant information can help improve information retrieval efficiencies while reducing the overload of information. Traditional models typically require artificial methods for obtaining good sample attributes before classifying them using standard machine learning algorithms. Therefore, feature extraction restricts the method's effectiveness significantly. On the other hand, deep learning differs from typical models, which are getting more attention because they incorporate feature extraction into the model building approach by performing a series of nonlinear transformations that assist in transferring feature representations to outputs. Furthermore, deep learning algorithms avoid the need for experts to define rules and attributes, instead automatically providing high-level semantic representations for texts. Therefore, in these studies, we explore the capabilities of contextually embedding derived from pre-trained models like BERT, and make use of multi-label classification of text documents in a huge English news dataset, in addition to some traditional machine learning methods to be applied in a small English news dataset. Finally, another version of BERT, Arabic BERT, explores sentiment polarity toward extracted aspects in an Arabic hotel review dataset.

Benzer Tezler

  1. A video dataset of incidents & video-based incident classification

    Felaket video veriseti & video-tabanlı felaket sınıflandırması

    DUYGU SESVER

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HAZIM KEMAL EKENEL

  2. Kullanıcı destek sistemlerinde yardım biletlerinin otomatik sınıflandırılması

    Automatic classification of help tickets in user support systems

    MÜCAHİT ALTINTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ

  3. Markov ve Gibbs rastlantı alan modelleri ile doku sentezleme ve sınıflandırma

    Texture synthesis and classification using Markov and Gibbs random field models

    ERDOĞAN CAMCIOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    1990

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    PROF. DR. ERDAL PANAYIRCI

  4. Comparison of active learning based hierarchical classification approaches on twitter

    Twitter alanında hiyerarşik sınıflandırma yöntemini temel alan aktif öğrenmenin karşılaştırılması

    RASHİD ZAMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. YÜCEL SAYGIN

  5. Multi-task learning on mental disorder detection, sentiment detection, and emotion detection

    Zihinsel bozukluk tespiti, duygusallık(sentiment) tespiti ve duygu tespiti üzerinde çok görevli öğrenim

    COURAGE ARMAH

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilim ve TeknolojiIşık Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMİNE EKİN