Enhancing retrieval-augmented generation for data science: A comprehensive framework for academic literature navigation
Veri bilimi odaklı bir RAG modeli: Akademik literatür tarama için kapsamlı bir araç
- Tez No: 929435
- Danışmanlar: DOÇ. DR. KEMAL KILIÇ, DOÇ. DR. KAMER KAYA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgi tarama teknikleri, Karar verici, Yapay zeka, Information search techniques, Decision maker, Artificial intelligence
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Hızla gelişen veri bilimi alanında, oldukça kapsamlı olan akademik literatürü etkili bir şekilde araştırmak, karar alımı ve innovasyon için oldukça önemlidir. Bu makale, veri bilimcilerin doğru ve bağlamsal olarak ilgili akademik kaynaklara erişmelerine yardımcı olmak amacıyla tasarlanmış bir Retrieval-Augmented Generation (RAG) uygulamasını sunmaktadır. Uygulama, GeneRation Of BIbliographic Data (GROBID), embedding modelini fine-tune etme, semantic chunking ve hiyerarşik bilgi çekme yöntemi gibi ileri teknikleri entegre ederek getirilen bilgilerin alaka düzeyini önemli ölçüde artırmaktadır. Retrieval-Augmented Generation Assessment System (RAGAS) çerçevesi kullanılarak yapılan kapsamlı bir değerlendirme, özellikle Context Relevancy (Bağlam Uyumu) metriği açısından önemli iyileştirmeler göstererek sistemin bilgi yükünü azaltma ve karar alma süreçlerini geliştirme konusundaki etkinliğini vurgulamaktadır. Bulgularımız, bu geliştirilmiş RAG sisteminin veri bilimi alanında akademik literatür taramasını dönüştürme potansiyelini ve araştırmacılar ile uygulayıcılar için değerli bir araç olma özelliğini ortaya koymaktadır.
Özet (Çeviri)
In the rapidly evolving field of data science, efficiently navigating the expansive body of academic literature is crucial for informed decision-making and innovation. This thesis presents an enhanced Retrieval-Augmented Generation (RAG) application designed to assist data scientists in accessing precise and contextually relevant academic resources. The application integrates advanced techniques, including GeneRation Of BIbliographic Data (GROBID), fine-tuning embedding model, semantic chunking, and an abstract-first retrieval method, to significantly improve the relevance and accuracy of the retrieved information. A comprehensive evaluation using the Retrieval-Augmented Generation Assessment System (RAGAS) framework demonstrates substantial improvements in key metrics, particularly Context Relevance, underscoring the system's effectiveness in reducing information overload and enhancing decision-making processes. Our findings highlight the potential of this enhanced RAG system to transform academic exploration within data science, providing a valuable tool for researchers and practitioners alike.
Benzer Tezler
- Landsat uyduları aracılığı ile elde edilen görüntülerin işlenmesinde kontrast artırma tekniklerinin tanımı ve bu tekniklere ilişkin bilgisayar programlarının hazırlanması üzerine bir çalışma
Başlık çevirisi yok
BİLHAN TABAK
Yüksek Lisans
Türkçe
1986
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Isı borusu prensibinin güneşli su ısıtıcılarına ve damıtmaya uygulanması
Başlık çevirisi yok
ALİ YÜCEL UYAREL
- Batı Anadolu linyitlerinin koklaşabilme özelliklerinin incelenmesi
The Investigation of cokingability properties of west-anatolia lignites
JALE YANIK
- Protein biyosentez inhibitörlerinin bazı bitki viruslarına etkileri üzerinde araştırmalar
Research on the effects of protein biosynthesis inhibitors on some plant viruses
SEBİLA AKSOY