Lightweight meta-relevance classifier for fusing retrieval signals in retrieval augmented generation processes
Bilgi getirme destekli üretim süreçlerinde getirme sinyallerinin birleştirilmesi için hafif meta-ilgi sınıflandırıcı
- Tez No: 986022
- Danışmanlar: DR. AHMET SELMAN BOZKIR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgi Getirme Destekli Üretim (RAG) sistemleri genellikle iki aşamalı bilgi getirme hatları (two stage retrieval pipelines) kullanır: İlk olarak hızlı ikili-kodlayıcılar (bi-encoder) ile aday belgeler getirilir, ardından daha hassas fakat daha yavaş çapraz-kodlayıcılar (cross-encoder) ile yeniden sıralanır. Ancak bu yaklaşım çoğu zaman, dil üretici (generator) modülüne ilgisiz pasajların ulaşmasına engel olamayarak yanıt kalitesini düşürür ve hesaplama kaynaklarını boşa harcar. Bu çalışmada, iki aşamalı getirme hattının halihazırda ürettiği sinyalleri—ikili ve çapraz kodlayıcı skorları, isteğe bağlı ek ilgililik sinyalleri ve sorgu gömme vektörü (query embedding)—birleştirerek (fuse) sorgu–pasaj ilgililiğini tahmin eden, hafif ve model-bağımsız bir Meta İlgililik Sınıflandırıcı (MİS)öneriyoruz. MİS, tak-çalıştır biçimindedir: önceden hesaplanmış skorlar üzerinde çalışır, çok az denetim (supervision) gerektirir ve mevcut bilgi getirme hattı bileşenlerini değiştirmeyi gerektirmez. Birleştirilmiş skoru filtreleme ve yeniden sıralama için kullanarak, MİS'in beş BEIR altkümesi genelinde filtreleme (F₁) ve sıralama kalitesini (nDCG@10) tutarlı biçimde iyileştirdiğini gösteriyoruz. MİS, en basit iki-sinyal versiyonunda dahi anlamlı kazanımlar sağlamaktadır: FiQA üzerinde filtrelemede +%9.6 (F₁), yeniden sıralamada ise +%5.8 (nDCG@10) artış elde edilmektedir. Ayrıca, ek sinyaller eklenerek meta modelin sorgu-farkında hâle getirilmesiyle, SciFact üzerinde +%19.7 (F₁), FiQA üzerinde ise +%8.3 (nDCG@10) artış elde edilmiştir. MİS, veri kullanımında son derece verimlidir; yalnızca 100–500 etiketli sorgu ile yüksek performans elde edebilmektedir. Bununla birlikte, önerilen yöntem, alan-içi (in-domain) çapraz kodlayıcı ince ayarına (fine-tuning) hafif ancak etkili bir alternatif sunmakta ve aynı zamanda onu tamamlayıcı bir nitelik taşımaktadır. İnce ayarlanmış bir çapraz kodlayıcının skorunun MİS'e girdi olarak eklenmesi, en yüksek başarımı sağlamaktadır. Son olarak, sentetik veri kümeleriyle yapılan deneyler, sentetik etiketlerin insan etiketlerinin sağladığı faydanın büyük kısmını karşıladığını ve MİS'in manuel etiketleme gerektirmeden alan uyarlaması (domain adaptation) için pratik bir çözüm sunduğunu göstermektedir.
Özet (Çeviri)
Retrieval-Augmented Generation (RAG) systems typically rely on a two-stage retrieval pipeline—fast bi-encoder retrieval followed by cross-encoder reranking—yet many irrelevant passages still reach the generator, hurting answer quality and wasting compute. We propose a lightweight, model-agnostic Meta Relevance Classifier (MRC) that fuses signals already produced by the retrieval pipeline—bi-encoder and cross-encoder scores, optionally additional relevance signals and query embedding—to predict query–passage relevance. The MRC is plug-and-play: it operates on precomputed scores, requires minimal supervision, and leaves retrievers and rerankers unchanged. Using the unified score for precision-oriented filtering and reranking, the MRC consistently improves filtering (F1) and ranking quality (nDCG@10) across five BEIR subsets. Even the minimal two-signal version provides substantial gains, improving filtering by up to +9.6% F1 on FIQA and boosting reranking by +5.8% nDCG@10 on FIQA over standard two-stage retrieval. Adding further relevance signals and query embeddings to make the MRC query-aware yields additional improvements, reaching up to +19.7% F1 on SCIFACT and +8.3% nDCG@10 on FIQA. The classifier is highly data-efficient, achieving strong performance with only 100–500 labeled queries. Supervised fusion offers an effective, lightweight alternative to in-domain cross-encoder finetuning and complements it: incorporating a finetuned cross-encoder score yields the strongest results. Finally, small synthetic datasets recover most of the benefits of human labels, confirming the MRC's practicality for rapid domain adaptation without manual annotation.
Benzer Tezler
- Deformation behavior of thin walled structures filled with auxetic and non-auxetic core materials
Ökzetik ve ökzetik olmayan dolgu malzemeli ince cidarlı yapıların deformasyon davranışı
FATİH USTA
Doktora
İngilizce
2021
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. HALİT SÜLEYMAN TÜRKMEN
PROF. DR. FABRIZIO SCARPA
- Physical and mechanical properties of lightweight expanded clay aggregate concrete
Genleştirilmiş kil agregalı hafif betonun fiziksel ve mekanik özellikleri
ORKUN UYSAL
Yüksek Lisans
İngilizce
2023
İnşaat MühendisliğiOrta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL ÖZGÜR YAMAN
DOÇ. DR. CAN BARAN AKTAŞ
- Pomza ve perlit agregası içeren mineral katkılı taşıyıcı hafif betonların enerji performansı açısından değerlendirilmesi
Evaluation of mineral additives added structural lightweightconcrete containing pumice and perlite aggregates in terms ofenergy performance
SAFA NAYIR
Doktora
Türkçe
2021
İnşaat MühendisliğiKaradeniz Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ŞAKİR ERDOĞDU
- AI-o/o 4.5 Cu-o/o (x) Li-o/o 0.5 Mg-o/o 0.5 Ag-o/o 015 Zr alaşımlarının oksidasyon özellikleri
Başlık çevirisi yok
HÜSEYİN ÇAKIR
Yüksek Lisans
Türkçe
1998
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET ALTMIŞOĞLU
- Başörtüsü giymeyi bırakan üniversite mezunu ve çalışan kadınlar üzerine nitel bir araştırma
A qualitative research on university graduate and working women who stop wearing headscarf
MUHAMMET NUMAN SAĞIRLI
Yüksek Lisans
Türkçe
2021
DinMarmara ÜniversitesiFelsefe ve Din Bilimleri Ana Bilim Dalı
PROF. DR. KEMAL ATAMAN