Analyzing the generalizability of deep contextualized language representations for text classification
Doğal dil işlemede bağlam odaklı derin öğrenme yöntemlerinin transfer kapasitesinin metin sınıflandırması problemi üzerinden incelenmesi
- Tez No: 632493
- Danışmanlar: DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 85
Özet
Bu çalışma ELMo ve DistilBERT adındaki bağlamsal ve derin doğal dil sistemlerini protesto haber metni ve kullanıcı yorumlarının ikili sınıflandırılması olmak üzere iki farklı senaryo üzerinden kıyaslamaktadır. Asıl amaç, bu modern sistemlerin birbirinden çok farklı girdileri modellemedeki başarısını ölçmek, bu sayede doğal dil işlemeyi hedef alan sistemlerin gerçek hayattaki kaynak çeşitliliğine ne kadar iyi adapte olabildiğine ışık tutmaktır. Bu amaçla, modeller eğitilirken ve başarımı ölçülürken bağlamca ayrışan veri kümeleri kullanılmıştır. Sözgelimi, ilk senaryo için Hindistan ve Çin'in yerel gazete haberlerinden, ikinci senaryo için ise sinema filmleri ve teknolojik cihazlara yapılan kullanıcı yorumlarından faydalanılmıştır. ELMo ve DistilBERT kullanılarak üretilen kelime vektörleri, biri ileriye doğru, diğeri özyineli olmak üzere iki farklı sinir ağına verilmiştir. Daha basit ve bağlamsal olmayan Çokterimli Naif Bayes Sınıflandırıcısı ve Doğrusal Destek Vektör Makinesinin sonuçları temel alınmıştır. Sonuçta, DistilBERT'in ELMo'ya kıyasla, bu iki senaryoda, farklı test ortamlarına daha dayanıklı olduğu, üstüne \%30 daha küçük ve \%83 daha hızlı olduğu görülmüştür. ELMo ise, yine, farklı bağlama geçişte, iki temel algoritmadan daha başarılı olmuştur. Buradan yola çıkarak, DistilBERT'in dilin genellenebilir anlamsal özelliklerini daha iyi öğrendiği ve gerçek-zamanlı dönüt gerektiren sistemlerde ve bellek kaynağı bakımından sınırlı bütçelerde ELMo'dan daha kullanışlı olduğu yargısına varılabilir. Öte yandan, genellenebilirliğin gözetilmediği, test verisinin eğitim verisine benzediği durumlarda Naif Bayes gibi daha basit ve ekonomik algoritmalar derin sinir ağlarına alternatifler olarak tercih edilebilir.
Özet (Çeviri)
This study evaluates the robustness of two state-of-the-art deep contextual language representations, ELMo and DistilBERT, on supervised learning of binary protest news classification and sentiment analysis of product reviews. A ``cross-context'' setting is enabled using test sets that are distinct from the training data. Specifically, in the news classification task, the models are developed on local news from India and tested on the local news from China. In the sentiment analysis task, the models are trained on movie reviews and tested on customer reviews. This comparison is aimed at exploring the limits of the representative power of today's Natural Language Processing systems on the path to the systems that are generalizable to real-life scenarios. The models are fine-tuned and fed into a Feed-Forward Neural Network and a Bidirectional Long Short Term Memory network. Multinomial Naive Bayes and Linear Support Vector Machine are used as traditional baselines. The results show that, in binary text classification, DistilBERT is significantly better than ELMo on generalizing to the cross-context setting. ELMo is observed to be significantly more robust to the cross-context test data than both baselines. On the other hand, the baselines performed comparably well to ELMo when the training and test data are subsets of the same corpus (no cross-context). DistilBERT is also found to be 30\% smaller and 83\% faster than ELMo. The results suggest that DistilBERT can transfer generic semantic knowledge to other domains better than ELMo. DistilBERT is also favorable in incorporating into real-life systems for it requires a smaller computational training budget. When generalization is not the utmost preference and test domain is similar to the training domain, the traditional ML algorithms can still be considered as more economic alternatives to deep language representations.
Benzer Tezler
- A fast 3d flow field prediction around bluff bodies using deep learning
Derin öğrenme kullanılarak küt cisimler etrafındaki 3 boyutlu akış alanının tahmini
FARHAD NEMATI TAHER
Yüksek Lisans
İngilizce
2023
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. ABDUSSAMET SUBAŞI
- Investigation of asset management practices in airports
Havalimanlarında varlık yönetimi uygulamalarının incelenmesi
CEMİL CAN UZUN
Yüksek Lisans
İngilizce
2023
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ESİN ERGEN PEHLEVAN
- İklimlendirme sistemleri üzerinde makine öğrenmesi ile anomali tespiti
Anomaly detection with machine learning on air conditioning systems
REFİK KİBAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED FATİH ADAK
DR. ÖĞR. ÜYESİ KEVSER OVAZ AKPINAR
- A comparative study of classification algorithms for sentiment analysis of COVID-19 vaccine opinions using machine learning
Makine öğrenmeyi kullanarak COVID-19 aşı görüşlerinin duyarlılık analizi için sınıflandırma algoritmalarının karşılaştırmalı bir çalışması
DILBER S ZAINULABDEEN ZAINULABDEEN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MESUT ÇEVİK
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN