Automated classification of Turkish mobile application reviews
Türkçe kullanıcı yorumlarının otomatik sınıflandırılması
- Tez No: 879943
- Danışmanlar: DR. ÖĞR. ÜYESİ FATMA BAŞAK AYDEMİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
Uygulama yorumları, kullanıcıların davranışı, fikirleri, şikayetleri, genel deneyimleri hakkında bilgi sağlamaktadır. Ürün yöneticileri, müşteri memnuniyetini ve uzun süreli kalışı sağlamak için hızlı geri bildirime ihtiyaç duymaktadırlar. Bu nedenle, uygulama yorum analizi, araştırılması önemli bir konu olarak karşımıza çıkmaktadır. Ancak bu yorumların elle sınıflandırılması maliyetli ve efor gerektiren bir süreçtir. Bu eforu ve maliyeti azaltmak adına, yorumların otomatik sınıflandırılması başka dillerde geniş kapsamda çalışılmıştır. Bu çalışmalar, yorumları Hata Raporu, Yeni Özellik İsteği, Kullanıcı Deneyimi ve Değerlendirmesi olarak sınıflandırmaya odaklanmıştır. Bizim çalışmamız, Türkçe dilinde uygulama yorumlarının otomatik sınıflandırma konusunu bu etiketlerle ele alan ilk çalışmadır. Çalışmamız kapsamında Google ve Apple Uygulama Mağaza yorumlarını tarayıp çeşitli kategorilerden ve uygulamalardan 5004 örneklik bir veri kümesi elde ettik. Bunlara ek, sektörden gelen geri bildirimleri dikkate alarak, iş süreçlerini dikkate alan Operasyonel isminde yeni bir etiket tanımladık. Yorumların sınıflandırılması sırasında geleneksel makine öğrenmesi ve kelime temsili yöntemlerinin yanı sıra BERT tabanlı derin dil modelleri kullanılmıştır. Sonuçlar, BERT tabanlı modellerin geleneksel makine öğrenmesi ve kelime temsili yöntemlerini geride bıraktığını göstermektedir. Az sayıda örnek içeren etiketlerdeki düşük performans, örnekleme yöntemleriyle iyileştirilmiştir. Bunun yanında, üretici yapay zeka modellerinin sınıflandırmaya olan etkisi GPT-3.5 ile denenmiştir. Düşük verili bir sınıfta örnekleme yöntemlerine kıyasla daha az veri arttırımı kullanılarak performansın arttığı gözlemlenmiştir. Son olarak, az örnekli bir etikette istem mühendisliği ve ince ayar teknikleri kullanılmıştır. Fikir dizisi yöntemi yüksek duyarlılık sergilerken, en yüksek F1 skor ince ayar ile elde edilmiştir.
Özet (Çeviri)
App reviews provide insights into user behavior, ideas, complaints, and overall experience. Product Managers need rapid feedback to ensure customer satisfaction and long-term stay. Hence, app review analysis has emerged as a crucial topic to investigate. Nevertheless, the manual classification of such reviews is costly and demands significant effort. To reduce this cost and effort, automatic classification of app reviews is widely studied in many different languages. Studies focused on detecting Bug Reports, Feature Requests, User Experience, and User Ratings. To the best of our knowledge, our study is the first one that covers these labels and employs the automatic app review classification task in the Turkish language. To accomplish such a task, we manually crawled the Google Play Store and Apple App Store and obtained a dataset of size 5004 from different apps and categories. Additionally, according to the feedback from the industry, we introduce a new label, operational, to identify reviews that are not related to the technical functionality but to the operational processes of the application. Regarding classification, we utilize traditional machine learning techniques with various features, word embeddings, and BERT-based deep language models. Our results show that BERT-based models outperform traditional machine learning techniques. We also applied sampling techniques and observed improvements in the minority classes' performance. Furthermore, we explore the effect of generative artificial intelligence models, specifically GPT-3.5, on our task. We augmented data for a minority class and observed performance improvement with less data creation than sampling techniques. Additionally, we applied prompt engineering (Few-Shot and Chain-of-Thought) and fine-tuning with GPT-3.5 for a minority class. We observed high recall values with Chain-of-Thought prompting and the best F1-score via fine-tuning.
Benzer Tezler
- Türkçe metinlerde duygu analizi
Sentiment analysis in Turkish texts
CUMALİ TÜRKMENOĞLU
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Automatic evaluation of mobile health applications according to persuasive system design principles and mobile application rating scale
Mobil sağlık uygulamalarının ikna edici sistem tasarım prensiplerine ve mobil uygulama derecelendirme ölçeğine göre otomatik değerlendirilmesi
YASİN AFŞİN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
PROF. DR. TUĞBA TAŞKAYA TEMİZEL
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- Analysis of natural language processing techniques and development of Turkish named entity recognition tool for travel-tourism voice assistant
Doğal dil işleme tekniklerinin incelenmesi ve seyahat-turizm sesli asistanı için Türkçe varlık ismi tanıma aracı geliştirilmesi
DENİZ GÜL ÖZCAN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAkdeniz ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÜMİT DENİZ ULUŞAR
- Gömülü yazılım sistemlerinde proje yönetim metodoloji seçimi
Software development methodologies selection in embedded software system
SADIK ÖZER
Yüksek Lisans
Türkçe
2019
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEZİ ÇEVİK ONAR