Benchmarking generative ai in structured domains: A critical evaluation of LLM–RAG architectures for flight recommendations
Yapılandırılmış alanlarda üretken yapay zekanın kıyaslanması: Uçuş tavsiyeleri için LLM–RAG mimarilerinin eleştirel bir değerlendirmesi
- Tez No: 961756
- Danışmanlar: DR. ÖĞR. ÜYESİ IBRAHEEM SHAYEA, DR. ÖĞR. ÜYESİ MERYEM UZUN-PER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Büyük Veri ve İş Analitiği Ana Bilim Dalı
- Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük Dil Modellerinin (LLM'ler) çeşitli alanlardaki hızla artan benimsenmesi, özellikle yapılandırılmış ve işlem odaklı ortamlarda, çoğu zaman alanlara özgü titiz doğrulamanın önüne geçmiştir. Bu tez, davranış odaklı kararlar, yapılandırılmış ücret verileri ve zamana duyarlı tercihlerle karakterize edilen karmaşık bir ortam olan uçak bileti tavsiye alanında, Bilgi Getirme Destekli Üretim (Retrieval-Augmented Generation - RAG) mimarilerinin etkinliğini eleştirel bir şekilde incelemektedir. BiletBank'e ait büyük ölçekli, özel bir rezervasyon veri kümesi kullanılarak, klasik öğe tabanlı işbirlikçi filtreleme (Collaborative Filtering - CF) yöntemiyle karşılaştırmalı olarak bir RAG hattı ve davranışsal olarak geliştirilmiş bir RAG hattı değerlendirilmiştir. Bu değerlendirme, hem en iyi-k öneri doğruluğu hem de hesaplama verimliliği açısından yapılmıştır. Sonuçlar, CF yönteminin tüm eşiklerde daha yüksek doğruluk sağladığını ortaya koyarken, davranışsal olarak geliştirilmiş RAG sisteminin önemli ölçüde daha düşük çalışma süresi maliyetleriyle rekabetçi bir performans sunduğunu göstermektedir. Bu çalışma, klasik yöntemler ile bilgi getirme tabanlı mimarilerin gerçek dünyadaki, yapılandırılmış bir kurumsal ortamda yapılan ilk ampirik karşılaştırmalarından birini sunmaktadır. Davranış odaklı bilgi getirme ve segmentasyonun performansı artırmadaki rolünü ön plana çıkararak, bu tez sorumlu yapay zekâ uygulamaları konusundaki tartışmalara katkıda bulunmaktadır. Yapılandırılmış, operasyonel alanlarda – örneğin seyahat tavsiye sistemlerinde – üretici modellerin benimsenmesinden önce ampirik karşılaştırmaların ve alana özgü mimari uyarlamaların gerekliliğini vurgulamaktadır. Her ne kadar sonuçlar umut verici olsa da, çalışma tek bir özel veri kümesi ve alanla sınırlıdır; dolayısıyla, bulguların farklı sektörler ve model yapılandırmaları arasında genellenebilmesi için gelecekteki çalışmalara ihtiyaç vardır.
Özet (Çeviri)
The accelerated adoption of Large Language Models (LLMs) across domains has often outpaced rigorous domain-specific validation, particularly in structured, transactional environments. This thesis critically examines the effectiveness of Retrieval-Augmented Generation (RAG) architectures within the domain of flight ticket recommendation, a complex setting characterized by behavior-driven decisions, structured fare data, and time-sensitive preferences. Using a proprietary, large-scale booking dataset from BiletBank, we benchmark a RAG pipeline and a behaviorally enhanced RAG pipeline against a traditional item-based collaborative filtering (CF) baseline, evaluating both top-k recommendation accuracy and computational efficiency. The results reveal that while CF achieves superior accuracy across all thresholds, the behaviorally enhanced RAG system offers competitive performance with substantially lower runtime costs. This study provides one of the first empirical comparisons between classical and retrieval architectures in a real-world, structured enterprise setting. By foregrounding the role of behavior-informed retrieval and segmentation in improving retrieval performance, the thesis contributes to the ongoing discourse on responsible AI deployment. It underscores the necessity of empirical benchmarking and domain-specific architectural adaptation before adopting generative models in operational, structured domains such as travel recommendation systems. While the results are promising, the study is limited to a single proprietary dataset and domain, and future work is needed to generalize findings across industries and model configurations.
Benzer Tezler
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. SEFER BADAY
- Hybridization of probabilistic graphical models and metaheuristics for handling dynamism and uncertainty
Değişimin ve belirsizliğin ele alınması için olasılıksal çizgesel biçelerin ve sezgi-üstlerinin melezleştirilmesi
GÖNÜL ULUDAĞ
Doktora
İngilizce
2021
Nörolojiİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE ŞİMA UYAR
- Design for luxury automotive hmi systems and driver experiences
Başlık çevirisi yok
SEVCAN YARDIM ŞENER
Doktora
İngilizce
2019
Endüstri ve Endüstri MühendisliğiUnıversıty Of LıverpoolDR. MARK WHITE
PROF. DR. OWAİN PEDGLEY
- A benchmarking framework for evaluating cloud services: A case study on azure app service vs DOCKER container
Bulut hizmetlerini değerlendirmek için standart bir çerçeve: Azure uygulama hizmeti ile DOCKER konteynerinin karşılaştırılmasına ilişkin
MANAR ALKULL
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBeykoz ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ERCAN SOLAK