Classification of mobile application reviews using deep language models
Mobil uygulama değerlendirmelerinin derin dil modelleri kullanılarak sınıflandırılması
- Tez No: 831926
- Danışmanlar: DR. ÖĞR. ÜYESİ FATMA BAŞAK AYDEMİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 64
Özet
Kullanıcı yorumları, hata raporları, özellik istekleri ve uygulama hakkında övgü veya eleştiri nedenleri gibi mobil uygulamalar için değerli bilgiler içermektedir. Yorumların manuel analizi, bir uygulama için alınan çok sayıda yorum nedeniyle maliyetli olabilmektedir. Kullanıcı yorumlarını etiketlemek için gereken çabayı azaltmak için, literatür derin dil modellerini araştıran birkaç çalışma dışında, genellikle sığ makine öğrenme yöntemlerine odaklanmaktadır. Bu tez i. uygulamaların kalitesini ve iş stratejisini eleştiren yorumları ayırt etmek için yeni bir etiket tanımlar, ii. 2230 adet manuel etiketlenmiş kullanıcı yorumları verisi sunar ve iii. kullanıcı yorumları sınıflandırılması için BERT, RoBERTa, DeBERTa, GPT-3 (ada) ve GPT-3 (curie) modellerinin performansını inceler. Sonuçlarımız, GPT-3 (curie)'nin BERT modelinden önemli ölçüde daha iyi performans gösterdiğini göstermektedir, ancak F1-puanı açısından geri kalan arasında anlamlı bir fark yoktur. Ayrıca, sınıflandırma sürecinden elde edilen yorumlardan yaygın konuları ve tartışmaları belirlemek ve yakalamak için konu çıkarımı yaparak pipeline'imizi genişletiyoruz. Bu ek adım, kullanıcı geri bildirimleri içinde yaygın olan konuları daha derinlemesine anlamamızı sağlar.
Özet (Çeviri)
User reviews include valuable information for mobile applications such as bug reports, feature requests, and rationale for praising or criticising about the application. Manual analysis of the reviews is costly due to the vast number of reviews received for an application. To reduce this manual effort, the literature mainly focuses on shallow machine learning methods with few studies investigating the deep language models to assign labels to the reviews. This thesis i. defines a new label to distinguish reviews criticising the quality and business strategy of applications, ii. presents a new manually annotated dataset of application reviews of size 2230, and iii. studies the performance of BERT, RoBERTa, DeBERTa, GPT-3 (ada), and GPT-3 (curie) models for review classification. Our results indicate that GPT-3 (curie) significantly outperforms the BERT yet there is no significant difference among the rest considering the F1-score. Additionally, we extend our pipeline by performing topic extraction to identify and capture common themes and topics from the reviews resulting from the classification pipeline. This additional step allows us to gain deeper insights into the prevalent subjects and discussions within the user feedback.
Benzer Tezler
- Discovering market insights from online product reviews through sentiment analysis
Çevrimiçi müşteri yorumları ile duygu analizi ve pazar payı için bir içgörü aracı
MUHAMMET ALİ KADIOĞLU
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKAN IŞIKLI
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- Androıd kötücül yazılımlarından koruma sistemlerinin değerlendirilmesi ve görüntü işleme algoritmalarını yapay zekâ teknikleri ile melezleştirerek yeni bir algılama yaklaşımının geliştirilmesi
Evaluating the robustness of android anti-malware systems and developing a novel detection approach based on hybridizing image processing algorithms with artificial intelligence techniques
HALİT BAKIR
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKırıkkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİL MURAT ÜNVER
- Efficient deep learning approaches for signal and image analysis applications
Sinyal ve görüntü analizi uygulamaları için verimli derin öğrenme yaklaşımları
ONUR CAN KOYUN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Kanal tabanlı özellik temsili ve derin öğrenmeye dayalı uykululuk sınıflandırması
Drowsiness classification based on channel-based feature representation and deep learning
MUSTAFA RIFAT ÇELİK
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ZÜMRAY ÖLMEZ