Büyük dil modelleri kullanılarak anahtar kelime üretimi ve konu modelleme : Müşteri geri bildirimlerinden içgörü edinimi
Keyword generation and topic modeling using large language models: Extracting insights from customer feedback
- Tez No: 884197
- Danışmanlar: PROF. DR. BANU DİRİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 72
Özet
Turizm sektöründe faaliyet gösteren Setur'un müşterilerinden anketler ile topladığı geri bildirim yorumları doğal dil işleme ile analizi yapılarak sunulan hizmet ile ilgili nelerden memnun kalındığı ve hangi noktaların gelişime açık olduğu tespit edilmek istenmiştir. Önerilen yöntemde, ilk aşamada yorumları temsil eden anahtar kelimeler (AK) oluşturulur, bu kelimeler ile metindeki önemli kelimeleri yakalamak amaçlanır. Yorumlardaki önemli kavramları yakalayabilmek için, Türkçe ve çok dilli veri setleri ile eğitilmiş ön eğitimli TRT5, MT5, TRBART ve MBART dil modellerine ince ayar yapılarak öğrenme transferi gerçekleştirilmiş ve GPT3.5, GPT4, Gemini Pro büyük dil modellerine one-shot ve few-shot stilinde istemler vererek anahtar kelimeler üretilmiştir. Üretilen AK'lerin etiketli AK'ler ile ne kadar örtüştüğü, yoruma benzerlikleri ve birbirlerine göre anlamsal çeşitlilikleri incelenmiştir. Aynı zamanda üretilen AK'lerin uzunluğu yorumun uzunluğu ile kıyaslanarak metni ne kadar sıkıştırabildiği ölçülmüştür. Konu modellemenin sonraki adımında, üretilen anahtar kelimeler ve yorumlarının vektörleri oluşturulur ve uç uca eklenir. Elde edilen yeni vektörler kümelenerek konu modellemesi yapılır, oluşturulan her bir küme bir konu olarak ele alınır. Konuları temsil etmek için o konudaki yorumlara en benzer anahtar kelimeler seçilir. Uygulanan konu modelleme yöntemi ile konu içeriklerinde kelime öbekleri bulunabilir, bu sayede anlamsal olarak daha belirgin yorumlanması daha kolay konular oluşturulabilmiştir. Aynı zamanda, yorum-AK ikilileri ile kümeleme yapılması ile bir yorum için birden fazla konu atanabilmesi sağlanır. Üretilen AK'lerin kümelenerek oluşturulan konu modellerinin performansı sinirsel konu modelleme örneği olan BERTopic ve istatistiksel yöntemlerden LDA ve NMF ile karşılaştırılmıştır. Oluşturulan konular incelenerek, müşterilerin hizmet sürecindeki hangi noktalar ile ilgili yorum yaptıkları hakkında bilgi sahibi olunmuş, en çok konuşulan konular saptanmıştır.
Özet (Çeviri)
It is aimed to determine what the customers of Setur, which operates in the tourism sector, are satisfied with and what points are open to development through the analysis of feedback comments collected from surveys using natural language processing. In the proposed method, in the first stage, key words representing the comments are created, and it is aimed to capture important words in the text with these words. In order to capture important concepts in the comments, transfer learning is performed by fine-tuning the pre-trained TRT5, MT5, TRBART, and MBART language models trained with Turkish and multilingual data sets and giving prompts in one-shot and few-shot style to GPT3.5, GPT4, and Gemini Pro large language models to produce keywords. The produced keywords have been examined in terms of how much they overlap with labeled keywords, their similarities to the comments, and their semantic diversity, and their ability to compress the text has been measured by comparing their lengths with the length of the comment. In the next step of topic modeling, vectors of the produced keywords and their comments are created and concatenated end-to-end. The new vectors obtained are clustered to do topic modeling, and each cluster created is considered as a topic. The keywords most similar to the comments on that topic are selected to represent the topics. With the applied topic modeling method, word clusters can be found in topic contents, thus making it easier to create topics that are more semantically distinct and easier to interpret. At the same time, assigning multiple topics for a comment is made possible by clustering with comment-keyword pairs. The performance of the topic models created by clustering the produced keywords has been compared with BERTopic, an example of neural topic modeling, and statistical methods LDA and NMF. By examining the topics created, information has been obtained about which points the customers commented on during the service process, and the most talked-about topics have been determined.
Benzer Tezler
- A faithfulness-aware pretraining strategy for abstractive text summarization
Soyutlayıcı metin özetleme için sadakat-farkında bir ön eğitim stratejisi
MOHANAD ALREFAAI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- Knowledge-based visual question answering
Bilgi tabanlı görsel soru cevaplama
ZİŞAN YALÇINKAYA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ANIL BAŞ
- Neural language modelling approaches for post-ocr text processing
Optik karakter tanıma sonrası metin işleme adımı için sinirsel dil modelleri yaklaşımları
AYŞE İREM TOPÇU
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Yeni nesil derin bağlamsallaştırılmış kelime gösterimleri ve derin öğrenme modelleriyle finansal haberler kullanarak borsa tahminlemesi
Stock generation estimation using financial news with new generation deep contextualized word display and deep learning models
DERYA OTHAN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDoğuş ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZEYNEP HİLAL KİLİMCİ
- Çizge evrişimli sinir ağları kullanılarak metin sınıflandırma
Text classification using graph convolutional networks
RUKİYE ÖZDEMİR TEKİR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ABDURRAHİM AKGÜNDOĞDU