Geri Dön

Enhancing retrieval augmented generation via decompositional reasoning and active learning

Ayrıştırma temelli akıl yürütme ve aktif öğrenme yöntemleriyle bilgiye erişimi geliştirme

PDF İndir

  1. Tez No: 1001295
  2. Yazar: AHMET KAĞAN KAYA
  3. Danışmanlar: DOÇ. DR. RAMAZAN GÖKBERK CİNBİŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Büyük Dil Modellerinin bilgi yoğun alanlarda kullanımı, günümüzde iki kritik darboğazla karşı karşıyadır: çıkarımın yüksek hesaplama maliyeti ve alana özgü etiketli veri kıtlığı. Bu tez, mimari ayrıştırma ve verimli veri öğrenme yoluyla bu zorlukları ele alan, bilgi erişiminden muhakemeye kadar tüm süreci optimize eden iki farklı çerçeve sunmaktadır. İlk olarak, erişim aşamasını optimize etmek için, aktif öğrenmeyi Büyük Dil Modeli tabanlı sentetik veri üretimiyle entegre eden etiket-verimli bir yaklaşım sunulmuştur. Yalnızca en bilgilendirici sorguları belirleyip etiketleyen bu yöntem, maliyetli manuel işaretlemeye gerek duymadan gözetimsiz yoğun erişimcileri önemli ölçüde geliştirmektedir. İkinci olarak, bilgi yoğun muhakeme aşamasını optimize etmek için, Büyük Dil Modellerinin bilişsel sürecini üç özelleşmiş bileşene ayıran modüler bir çerçeve önerilmiştir: problem ayrıştırma için bir Analizör, bağlam oluşturma için bir Bilgilendirici ve mantıksal sentez için bir Muhakemeci. Bu yapısal ayrım, kompakt öğrenci modellerin devasa öğretmen modellerin karmaşık muhakeme yeteneklerini üstün verimlilik ve yorumlanabilirlikle taklit etmesini sağlamaktadır. BEIR, OBQA, StrategyQA ve MedQA veri setleri üzerindeki kapsamlı değerlendirmeler, bu iki yaklaşımın temel yaklaşımları geride bıraktığını ve tam gözetimli, kaynak yoğun sistemlerle rekabetçi bir performans elde ettiğini göstermektedir. Verimli veri erişim ile modüler muhakemeyi analiz eden bu çalışma, kaynak kısıtlı ortamlarda gelişmiş bilgi sistemlerinin konuşlandırılması için ölçeklenebilir, şeffaf ve pratik çözümler sunmaktadır.

Özet (Çeviri)

The deployment of Large Language Models (LLMs) in knowledge-intensive domains is currently challenged by two critical bottlenecks: the computational cost of inference and the scarcity of labeled data for domain-specific retrieval. This thesis presents two frameworks to address these challenges through architectural decomposition and data-efficient learning, optimizing the entire pipeline from information access to reasoning. First, to optimize the retrieval stage, we introduce a label-efficient approach that integrates active learning with LLM-based synthetic data generation. By identifying and labeling only the most informative queries, this method significantly enhances unsupervised dense retrievers without requiring expensive manual annotation. Second, to optimize the knowledge-intensive reasoning stage, we propose a modular distillation framework that factorizes the cognitive process of Large Language Models into three specialized components: an Analyzer for problem decomposition, an Informant for context generation, and a Reasoner for logical synthesis. This structural separation enables compact student models to emulate the complex reasoning capabilities of massive teacher models with superior efficiency and interpretability. Extensive evaluations across the BEIR, OBQA, StrategyQA, and MedQA benchmarks demonstrate that these approachs outperform monolithic baselines and achieves performance competitive with fully supervised, resource-intensive systems. By analyzing data-efficient retrieval and modular reasoning, this work offers a scalable, transparent, and practical solutions for deploying advanced knowledge systems in resource-constrained environments.

Benzer Tezler

  1. Tez No

    1019841

    A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders

    İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama

    ELİF GÜLİN PETEK

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR BEHZAT TOKDEMİR

  2. Tez No

    946040

    Küçük dil modellerinin türkçe bağlamlı soru-cevap ve çıkarım görevlerinde ingilizce akıl yürütme-türkçe yanıt stratejisiyle lora ince ayarı

    Lora fine-tuning of small language models for turkish contextual question answering and inference via an english reasoning–turkish answer strategy

    MEHMET ÇAĞRI ÇALIŞKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar Üniversitesi

    Yapay Zeka Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ GÖKALP TULUM

  3. Tez No

    895612

    Enhancing retrieval-augmented generation: Optimizing document splits and parameters for improved language model responses

    Alımla zenginleştirişmiş üretı̇mı̇n gelı̇ştı̇rı̇lmesı̇: Gelı̇şmı̇ş dı̇l modelı̇ yanıtları ı̇çı̇n belge ayrımlarının ve parametrelerı̇n optı̇mı̇ze edı̇lmesı̇

    CABİR ÇELİK

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BEYTULLAH YILDIZ

  4. Tez No

    921425

    Enhancing retrieval-augmented generation accuracy with dynamic chunking and optimized vector search

    Dinamik parçalama ve optimize edilmiş vektör araması ile bilgi getirme destekli üretim doğruluğunu artırma

    DERYA TANYILDIZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET FATİH AMASYALI

    DOÇ. DR. SERKAN AYVAZ

  5. Tez No

    929435

    Enhancing retrieval-augmented generation for data science: A comprehensive framework for academic literature navigation

    Veri bilimi odaklı bir RAG modeli: Akademik literatür tarama için kapsamlı bir araç

    AHMET YASİN AYTAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Veri Bilimi Ana Bilim Dalı

    DOÇ. DR. KEMAL KILIÇ

    DOÇ. DR. KAMER KAYA

Geri Dön