A machine learning approach to sentiment analysis: Insights from public perception of ai chatbots
Duygu analizinde makine öğrenimi yaklaşımı: Yapay zeka sohbet robotlarına ilişkin kamu algısından elde edilen içgörüler
- Tez No: 933150
- Danışmanlar: DOÇ. DR. İRGE ŞENER
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Çankaya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgi Teknolojileri Bilim Dalı
- Sayfa Sayısı: 114
Özet
Son yıllarda, yapay zeka ve doğal dil işleme teknolojilerindeki gelişmeler, kullanıcılarla etkileşim kuran sohbet botlarının yaygın olarak benimsenmesini sağlamıştır. ChatGPT ve Gemini AI gibi büyük dil modelleri, geniş bir kullanıcı kitlesi tarafından günlük etkileşimlerde kullanılmaktadır. Ancak, bu modellerin kamuoyundaki algısını ve kullanıcı duyarlılığını anlamak için kapsamlı bir duygu analizi gerekmektedir. Bu çalışma, Twitter'da ChatGPT ve Gemini AI hakkında yapılan paylaşımları analiz ederek, bu yapay zeka modellerinin kullanıcılar tarafından nasıl algılandığını belirlemeyi amaçlamaktadır. Çalışmada, kural tabanlı duygu analizi (SpaCy ve TextBlob) ve derin öğrenme tabanlı duygu analizi (BERTweet) omak üzere iki farklı duygu analizi yöntemi karşılaştırılmıştır. Yapılan analizler sonucunda, BERTweet'in duygu sınıflandırmasında daha başarılı olduğu gözlemlenmiş ve analiz sürecinde referans modeli olarak kabul edilmiştir. Daha sonra, Random Forest, Support Vector Machine (SVM), Logistic Regression ve LightGBM gibi çeşitli makine öğrenimi modelleri kullanılarak duygu tahminleri yapılmıştır. Bu modeller, DistilBERT, RoBERTa ve GloVe gibi üç farklı gömme yöntemiyle eğitilmiştir. Sonuçlar, Logistic Regression ve RoBERTa bileşeninin en yüksek doğruluk oranını sağladığını (%81,8) ortaya koymuştur. Çalışmanın temel bulguları şunlardır: 1. ChatGPT ve Gemini AI'nin duygu dağılımı farklılık göstermektedir. ChatGPT hakkında daha fazla negatif içerik bulunurken, Gemini AI'nin daha fazla olumlu içerikle ilişkilendirildiği gözlemlenmiştir. 2. En yaygın negatif geri bildirimler, ChatGPT için bilgi doğruluğu ve kullanım kısıtlamaları, Gemini AI için ise Google ekosistemine entegrasyon ve güvenilirlik konuları olmuştur. 3. Kelime bulutu ve frekans analizleri, her iki modelle ilgili duygu temalarını belirlemede önemli içgörüler sağlamıştır. Elde edilen sonuçlar, yapay zeka tabanlı sohbet botlarının geliştirilmesi, kullanıcı memnuniyetinin artırılması ve gelecek nesil yapay zeka sistemlerinin tasarımına yönelik değerli bilgiler sunmaktadır. Gelecek çalışmalar, zaman serisi analizi, çok modlu duygu analizi ve coğrafi bazlı kullanıcı eğilimleri gibi daha derinlemesine araştırmaları içerebileceği değerlendirilmektedir.
Özet (Çeviri)
In recent years, advancements in artificial intelligence (AI) and natural language processing (NLP) technologies have led to the widespread adoption of chatbots that interact with users. Large language models such as ChatGPT and Gemini AI are widely used in everyday interactions by a broad user base. However, understanding the public perception and user sentiment towards these models requires a comprehensive analysis. This study aims to analyze Twitter discussions about ChatGPT and Gemini AI to determine how these AI models are perceived by users. Two different sentiment analysis methods were compared those are rule-based sentiment analysis (SpaCy and TextBlob) and deep learning-based sentiment analysis (BERTweet). The results indicated that BERTweet outperformed rule-based approaches in sentiment classification, leading to its adoption as the reference model for further analysis. Subsequently, sentiment predictions were performed using various machine learning models, including Random Forest, Support Vector Machine (SVM), Logistic Regression, and LightGBM. These models were trained with three different embedding techniques which are DistilBERT, RoBERTa, and GloVe. The findings revealed that the combination of Logistic Regression with RoBERTa achieved the highest accuracy (81.8%). According to key findings of the study, the sentiment distribution of ChatGPT and Gemini AI differs significantly. ChatGPT received more negative sentiment, whereas Gemini AI was associated with a higher proportion of positive sentiment. The most common negative feedback for ChatGPT was related to 'information accuracy' and 'usage restrictions', while for Gemini AI, it was 'integration with the Google ecosystem' and 'reliability concerns' recieved more negative feedback. Word cloud and frequency analysis provided valuable insights into sentiment themes associated with both models. The findings of this study offer valuable insights into the development of AI-powered chatbots, enhancement of user satisfaction, and the design of next-generation AI systems. Future research may explore time-series analysis, multimodal sentiment analysis, and geographically segmented user sentiment trends for a deeper understanding of AI adoption and perception.
Benzer Tezler
- Roe v Wade in twitter: Sentiment analysis with machine learning
Twıtter'da Roe V Wade: Makine öğrenimi ile duygu analizi
HIBA AL LAMI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SÜREYYA AKYÜZ
- Sosyal mühendislikte komplo tabanlı içeriklerin yapay zekâ ile analizi
Analysis of conspiracy-based content in social engineering with artificial intelligence
EMEL KOÇYİĞİT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH ÇALLI
- Network analysis of co-search-based investor attention on stock prices
Ortak arama tabanlı yatırımcı dikkatinin hisse senedi fiyatları üzerindeki ağ analizi
MÜGE ÖZDEMİR
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. OKTAY TAŞ
- Social media based crime prediction using machine learning
Makine öğrenme algoritmasını kullanarak sosyal medya tabanlı suç tahmini
SAKIRIN TAM
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÖMER ÖZGÜR TANRIÖVER