Benchmarking generative ai in structured domains: A critical evaluation of LLM–RAG architectures for flight recommendations
Yapılandırılmış alanlarda üretken yapay zekanın kıyaslanması: Uçuş tavsiyeleri için LLM–RAG mimarilerinin eleştirel bir değerlendirmesi
- Tez No: 961756
- Danışmanlar: DR. ÖĞR. ÜYESİ IBRAHEEM SHAYEA, DR. ÖĞR. ÜYESİ MERYEM UZUN-PER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Büyük Veri ve İş Analitiği Ana Bilim Dalı
- Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
- Sayfa Sayısı: 117
Özet
Büyük Dil Modellerinin (LLM'ler) çeşitli alanlardaki hızla artan benimsenmesi, özellikle yapılandırılmış ve işlem odaklı ortamlarda, çoğu zaman alanlara özgü titiz doğrulamanın önüne geçmiştir. Bu tez, davranış odaklı kararlar, yapılandırılmış ücret verileri ve zamana duyarlı tercihlerle karakterize edilen karmaşık bir ortam olan uçak bileti tavsiye alanında, Bilgi Getirme Destekli Üretim (Retrieval-Augmented Generation - RAG) mimarilerinin etkinliğini eleştirel bir şekilde incelemektedir. BiletBank'e ait büyük ölçekli, özel bir rezervasyon veri kümesi kullanılarak, klasik öğe tabanlı işbirlikçi filtreleme (Collaborative Filtering - CF) yöntemiyle karşılaştırmalı olarak bir RAG hattı ve davranışsal olarak geliştirilmiş bir RAG hattı değerlendirilmiştir. Bu değerlendirme, hem en iyi-k öneri doğruluğu hem de hesaplama verimliliği açısından yapılmıştır. Sonuçlar, CF yönteminin tüm eşiklerde daha yüksek doğruluk sağladığını ortaya koyarken, davranışsal olarak geliştirilmiş RAG sisteminin önemli ölçüde daha düşük çalışma süresi maliyetleriyle rekabetçi bir performans sunduğunu göstermektedir. Bu çalışma, klasik yöntemler ile bilgi getirme tabanlı mimarilerin gerçek dünyadaki, yapılandırılmış bir kurumsal ortamda yapılan ilk ampirik karşılaştırmalarından birini sunmaktadır. Davranış odaklı bilgi getirme ve segmentasyonun performansı artırmadaki rolünü ön plana çıkararak, bu tez sorumlu yapay zekâ uygulamaları konusundaki tartışmalara katkıda bulunmaktadır. Yapılandırılmış, operasyonel alanlarda – örneğin seyahat tavsiye sistemlerinde – üretici modellerin benimsenmesinden önce ampirik karşılaştırmaların ve alana özgü mimari uyarlamaların gerekliliğini vurgulamaktadır. Her ne kadar sonuçlar umut verici olsa da, çalışma tek bir özel veri kümesi ve alanla sınırlıdır; dolayısıyla, bulguların farklı sektörler ve model yapılandırmaları arasında genellenebilmesi için gelecekteki çalışmalara ihtiyaç vardır.
Özet (Çeviri)
The accelerated adoption of Large Language Models (LLMs) across domains has often outpaced rigorous domain-specific validation, particularly in structured, transactional environments. This thesis critically examines the effectiveness of Retrieval-Augmented Generation (RAG) architectures within the domain of flight ticket recommendation, a complex setting characterized by behavior-driven decisions, structured fare data, and time-sensitive preferences. Using a proprietary, large-scale booking dataset from BiletBank, we benchmark a RAG pipeline and a behaviorally enhanced RAG pipeline against a traditional item-based collaborative filtering (CF) baseline, evaluating both top-k recommendation accuracy and computational efficiency. The results reveal that while CF achieves superior accuracy across all thresholds, the behaviorally enhanced RAG system offers competitive performance with substantially lower runtime costs. This study provides one of the first empirical comparisons between classical and retrieval architectures in a real-world, structured enterprise setting. By foregrounding the role of behavior-informed retrieval and segmentation in improving retrieval performance, the thesis contributes to the ongoing discourse on responsible AI deployment. It underscores the necessity of empirical benchmarking and domain-specific architectural adaptation before adopting generative models in operational, structured domains such as travel recommendation systems. While the results are promising, the study is limited to a single proprietary dataset and domain, and future work is needed to generalize findings across industries and model configurations.
Benzer Tezler
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. SEFER BADAY
- Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Kamu kuruluşlarında stratejik planlamanın başarısını etkileyen faktörler
Searching for success factors of strategic planning in public institutions
VOLKAN ERKAN
- A wavelet-based intrusion detection system for controller areanetwork (Can)
Başlık çevirisi yok
MEHMET BOZDAL
Doktora
İngilizce
2021
Astronomi ve Uzay BilimleriCranfield UniversityPROF. IAN JENNİONS
DR. MOHAMMAD SAMİE
- Benchmarking simultaneous authentication schemes
Eş zamanlı kimlik doğrulama şemalarının karşılaştırmalı analizi
MORTEZA AZMOUDEH AFSHAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. ENVER ÖZDEMİR