Evaluating the reliability of LLM and SLM models in telecom customer care GENAI application
Telekom müşteri hizmetlerinde üretken yapay zekâ güvenilirliğinin değerlendirilmesi
- Tez No: 999163
- Danışmanlar: DR. ÖĞR. ÜYESİ ALPER CAMCI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, telekomünikasyon sektöründe müşteri temsilcilerini destekleyen üretken yapay zekâ (GenAI) tabanlı sanal asistanların güvenilirliğini ele almaktadır. Özellikle büyük dil modellerinin (GPT-4) ve daha küçük, açık kaynaklı dil modellerinin (Phi-2) halüsinasyon üretme eğilimleri incelenmiş, her iki model de aynı RAG (Retrieval-Augmented Generation) mimarisi ile donatılmıştır. Araştırmada, semantik arama, vektör veri tabanları ve geri bildirim mekanizması gibi yöntemlerle halüsinasyonun azaltılması amaçlanmıştır. Simüle edilmiş müşteri senaryoları üzerinden sanal asistanların doğruluk ve güvenilirlik performansları karşılaştırmalı olarak değerlendirilmiştir. Bu tez, GenAI sistemlerinin telekom müşteri hizmetlerinde güvenli ve etkili biçimde uygulanabilmesi için önemli bulgular sunmaktadır.
Özet (Çeviri)
This thesis investigates the reliability of Generative AI (GenAI) in telco customer care, focusing on hallucination—when AI-generated responses appear fluent but are factually incorrect. The study develops a virtual assistant designed to support Customer Service Representatives (CSRs), tested using both a Large Language Model (GPT-4) and a Smaller Language Model (Phi-2), each enhanced with a Retrieval-Augmented Generation (RAG) architecture. Features such as semantic search, vector databases, and a feedback mechanism are included to reduce hallucinations. Using simulated customer scenarios, the assistant's performance is evaluated based on accuracy and hallucination frequency. The findings offer insights into model reliability and practical deployment strategies for AI in telecom support.
Benzer Tezler
- Multi-model multi-agent defense against LLM jailbreak attacks
Büyük dil modellerine yönelik jailbreak saldirilarina karşi çok modelli çok ajanli sistemler ile savunma
ARJEN AYKAN KILIÇ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
PROF. DR. FATİH ALAGÖZ
- An agent-based framework for systematic generative feature engineering in financial markets
Finansal piyasalarda sistematik üretici değişken mühendisliği için yapay zekâ ajanları temelli bir yaklaşım
MUSTAFA ENES KARAMAN
Yüksek Lisans
İngilizce
2026
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBüyük Veri ve İş Analitiği Ana Bilim Dalı (disiplinlerarası)
PROF. DR. ALP ÜSTÜNDAĞ
- LLM based code generation and code integration with multi agent systems
Büyük dil modeli tabanlı kod üretimi ve çoklu ajan sistemleri ile kod entegrasyonu
YASİN BÜZGÜLÜ
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medipol ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SELİM AKYOKUŞ
DR. SALİH SARP
- Comparatıve evaluatıon of aı-as-a-servıce vendor selectıon usıng fuzzy ahp and fuzzy topsıs
Yapay zekâ hizmet sağlayicilarinin karşilaştirmali değerlendi̇rmesi̇: bulanik ahp ve bulanik topsis uygulamasi
AMIRHOSSEIN DASTARI
Yüksek Lisans
İngilizce
2025
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜLŞAH HANÇERLİOĞULLARI KÖKSALMIŞ
- Performance evaluation of llm based chatbots with E2e method:LLama-8b,LLama-7b,Gemma-7b and mistral-7b
Uçtan uca yöntemi ile büyük dil modeli tabanlı sohbet botlarının performans değerlendirmesi:LLama-8B,LLama-7B,Gemma-7b ve mıstral-7B
NAİLE CENK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMef ÜniversitesiBilişim Teknolojileri Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM KARAHOCA