Retrieval-augmented generation optimization:keyword-guided chunking forefficient localized llms
Retrıeval-augmented generatıon (RAG) optimizasyonu:verimli yerel llm'ler için anahtar kelimeyönlendirmeli parçalama
- Tez No: 1001577
- Danışmanlar: PROF. DR. BAHADIR KÜRŞAT GÜNTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Mühendislik Bilimleri, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Medipol Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği ve Siber Sistemler Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zeka, metin halüsinasyonları en aza indirgemek ve cevapların kalitesini artırmak için Retrieval-Augmented Generation (RAG) yönteminin başarısı, belgelerin indekslenmeden önce ne kadar iyi parçalara ayrıldığına bağlıdır. Belgeleri çok küçük birimlere ayırmak, LLM için daha iyi bağlamsallaştırma imkanı sağlarken, birimler çok büyük olduğunda, arama sonuçlarından bağlam eksikliği nedeniyle üretecin tahminde bulunmak zorunda kalma olasılığını da artırır. Bu ödünleşimler, mevcut bilgisayar işlem gücü ve bellek ön işleme ve arama süresi ile bütçesini ciddi şekilde sınırlayan yerel dağıtımlarda daha da belirgin hale gelir. Bu nedenle, bu tezde Keyword-Guided Chunking (KGC) adı verilen anahtar kelime tabanlı bir parçalama yöntemi önerilmiştir. KGC, tüketici sınıfı bilgisayarlarda da kullanılabilmesini sağlarken, arama sürecinin güvenilirliğini artırmak amacıyla geliştirilmiştir. KGC, önce her belgedeki bilgilendirici anahtar kelimelerin veya“bağlantı noktalarının”konumunu belirleyip eşleştirir. Ardından, bu bağlantı noktalarının cümle ve noktalama işaretleri gibi metindeki doğal kesintilere doğru genişlemesine dayalı olarak parçalar oluşturur. Ek olarak, KGC, birbirine yakın olan birden fazla çıpa noktasını ayrı yapay parçalar oluşturmak yerine tek bir parçaya kontrollü bir şekilde yerleştirmeye olanak tanıyan bir mekanizma içerir. KGC'nin genel amacı, anahtar kavramların anlamsal bütünlüğünü korumak ve indeksleme ve geri getirme için parça boyutunu makul sınırlar içinde tutmaktır. KGC, sabit boyutlu parçalar, cümle düzeyinde parçalar, paragraf düzeyinde parçalar ve anlamsal parçalar gibi ortak temel kriterler açısından, çeşitli soru-cevap veri koleksiyonları kullanılarak değerlendirilmiştir. Sonuçlar, KGC'nin RAG sistemlerinde geri getirme etkinliğini artırdığını ve temellendirme kalitesini yükselttiğini, çoğu alanda daha iyi ortalama Hits@K değerleri elde ettiğini ve bağlam doğruluğu, bağlam hatırlama, cevap alaka düzeyi ve kaynağa sadakat açısından daha yüksek puanlar verdiğini göstermiştir. Ayrıca, maliyet analizi sonuçları, KGC'nin hesaplama açısından yoğun semantik parçalama yöntemine kıyasla yüksek kalite/düşük çaba dengesi sağladığını göstermiştir. Son olarak, çeşitli tüketici sınıfı GPU düzeylerinde KGC'nin kararlılığının değerlendirilmesi, KGC'nin sınırlı kaynak koşullarında kararlılığını koruduğunu gösterdi. Genel olarak, bu araştırmanın sonuçları, metin parçaları oluşturmak için çıpa noktası tabanlı, sınır duyarlı yöntemlerin, yerelleştirilmiş RAG sistemlerinin performansını artırmanın pratik bir yolu olduğunu ve bunu daha karmaşık segmentasyon yöntemlerine göre daha az hesaplama yüküyle gerçekleştirdiğini göstermektedir.
Özet (Çeviri)
The success of Retrieval-Augmented Generation (RAG) to minimize hallucinations and increase the quality of answers relies upon how well documents are split into segments before being indexed. While splitting documents into very small units can allow for better contextualization for the generator, it also increases the chances that the generator will be forced to guess due to the lack of context from the retrieval results when the units are too large. These trade-offs are amplified in local deployments where the available computer processing and memory severely limit the amount of preprocessing and retrieval time and budget. Therefore, this dissertation proposed a keyword-based chunking method called Keyword-Guided Chunking (KGC). KGC was developed with the goal of increasing the reliability of the retrieval process while still allowing for deployment on consumer-grade computers. KGC works by first identifying and mapping the position of informative keywords or“anchors”in each document. It then creates chunks based on the expansion of these anchors towards natural breaks in the text such as at the sentence and punctuation level. Additionally, KGC includes a mechanism that allows for the controlled packing of multiple anchors that are near each other into a single chunk rather than creating separate artificial chunks. The overall intent of KGC is to maintain semantic completeness for key concepts and keep chunk size to within reasonable bounds for indexing and retrieval. KGC was evaluated with respect to common baselines that include fixed-size chunks, sentencelevel chunks, paragraph-level chunks, and semantic chunks, using diverse collections of question-answering data. The results showed that KGC improved the effectiveness of retrieval and increased the quality of the grounding in RAG systems, achieving better average Hits@K across most domains and producing higher scores for context precision, context recall, answer relevance, and faithfulness. Additionally, the results of the cost analysis demonstrated that KGC provided a high-quality/low-effort trade-off compared to computationally intensive semantic chunking. Finally, the evaluation of the stability of KGC across various levels of consumer-grade GPU indicated that KGC maintained its stability through limited resource conditions. Overall, the results of this research demonstrate that anchor-based, boundary-sensitive methods of creating chunks of text is a practical means of enhancing the performance of localized RAG systems and does so with less computational overhead than more complex segmentation methods.
Benzer Tezler
- Optimizing retail decision-making with retrieval-augmented generation and chain of thought frameworks
Almayla artırılmış üreti̇m ve düşünce zi̇nci̇ri̇ çerçeveleri̇yle perakende karar verme süreçleri̇ni̇n opti̇mi̇ze edi̇lmesi̇
EMRE ULUÇAM
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. SADETTİN EMRE ALPTEKİN
- Advanced retrieval augmented generation: Multilingual semantic retrieval across document types by finetuning transformer based language models and OCR integration
Gelişmiş erişim artirilmiş üretim: Belge türleri arasinda çok dilli anlamsal erişim için transformatör tabanli dil modellerini ince ayarlama ve OCR entegrasyonu
ISMAIL OUBAH
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SELCUK SENER
- Optimizing large language models: A comparative study of retrieval-augmented generation, fine-tuning, and hybrid approaches
Büyük dil modellerinin optimize edilmesi: RAG, fine-tuning ve bunlarin birleşiminin (hibrit) modellerin karşilaştirilmasi
GÜLSÜM BUDAKOĞLU
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTed ÜniversitesiUygulamalı Veri Bilimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAKAN EMEKCİ
- Büyük dil modelleri ve modern doğal dil işleme teknikleri kullanılarak sektörel chatbot tasarımı ve iyileştirme
Industrial chatbot design and optimization using large language models and modern natural language processing techniques
KADİR MEHMET KARAKAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET SERDAR GÜZEL
- Rag supported knowledge-based question-answer system with multimodal (text + visual) data
Çok modlu (Metin + Görsel) veri ile rag destekli bilgi tabanlı soru-cevap sistemi
ONUR YAZICI
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolManisa Celal Bayar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ VOLKAN ALTINTAŞ