Küçük ölçekli bilgi alanları için optimal embedding modeli ve optimize edilmiş rag akışının tasarımı
Design of an optimal embedding model and an optimized rag pipeline for small-scale knowledge domains
- Tez No: 1003220
- Danışmanlar: DOÇ. DR. SERKAN GÖNEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: İstanbul Ticaret Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Düşük kaynaklı Retrieval Augmented Generation (RAG) sistemlerinde model boyutunun, alanına özgü fine tuning ve embedding vektörlerinin binarization stratejilerinin retrieval performansı üzerindeki etkisini incelemektedir. Deneylerde, büyük ölçekli genel amaçlı bir model (Jasper 600M) ile hafif alternatifler (MDBR LEAF) yalnızca CPU kullanılan ortamlarda karşılaştırılmıştır. Elde edilen bulgular, alanına fine-tuning ayarın, yaklaşık 23 milyon parametreli bir modelin, 600 milyon parametreli bir modeli parafraz ağırlıklı retrieval görevlerinde geride bırakmasını mümkün kıldığını göstermektedir. Fine Tuning MDBR LEAF modeli, daha yüksek doğruluk üretirken yaklaşık 16 kat daha hızlı çalışmakta ve %90'dan fazla depolama tasarrufu sağlamaktadır. Çalışmada ayrıca bellek ve hesaplama maliyetlerini azaltmak amacıyla dört farklı binarization yöntemi (Sign, Zero One, Medyan, ITQ) değerlendirilmiştir. Sign tabanlı binarization, tüm modellerde retrieval performansını işlevsiz hale getirmektedir. Buna karşılık, Medyan stratejisi özellikle hafif modellerde anlamsal yapının büyük kısmını koruyarak, embedding boyutunu %95'in üzerinde küçültürken doğrulukta yalnızca yaklaşık 6–7 puanlık bir kayba yol açmıştır. Fine tuning MDBR LEAF ile Medyan binarization birlikte kullanımı; doğruluk, hız ve depolama gereksinimleri arasında güçlü bir denge sağlayarak, küçük ve özelleştirilmiş modellerin kaynak kısıtlı ortamlarda pratik ve erişilebilir RAG sistemleri oluşturabileceğini göstermektedir.
Özet (Çeviri)
This study examines the impact of model size, domain-specific fine-tuning, and embedding binarization strategies on retrieval performance in low-resource Retrieval-Augmented Generation (RAG) systems. The experiments compare a large general-purpose model (Jasper-600M) with lightweight alternatives (MDBR LEAF) under CPU-only conditions. The findings demonstrate that domain-specific fine-tuning enables a model with approximately 23 million parameters to outperform a 600-million-parameter model on paraphrase-heavy retrieval tasks. The fine-tuned MDBR-LEAF model achieves higher accuracy while operating up to 16 times faster and requiring over 90% less storage. The study also evaluates four binarization methods (Sign, Zero One, Medyan, ITQ) to reduce memory and computational costs. Sign-based binarization nearly collapses retrieval performance across all models. In contrast, the Medyan strategy preserves most of the semantic structure, particularly for lightweight models, reducing the embedding size by more than 95% with only a 6–7-point loss in accuracy. The combination of fine-tuned MDBR LEAF with Medyan binarization provides a strong balance among accuracy, speed, and storage efficiency, demonstrating that small, specialized models can enable practical and accessible RAG systems in resource-constrained environments.
Benzer Tezler
- Landsat uydusu aracılığı ile elde edilen görüntülerin sınıflandırılmaları ve bunlara ilişkin bilgisayar programlarının hazırlanması
Başlık çevirisi yok
G. FERZAN KÜÇÜKA
Yüksek Lisans
Türkçe
1985
Ege ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
- Çocuklarda akut stres hiperglisemisinde hormonal değişikliklerin ve kısa süreli prognozun incelenmesi
Başlık çevirisi yok
AYGÜN DİNDAR
Tıpta Uzmanlık
Türkçe
1987
İstanbul ÜniversitesiÇocuk Sağlığı ve Hastalıkları Hemşireliği Ana Bilim Dalı
Yükleniyor...
- İki katlı pamuk ipliklerinden dokunan kumaşlarda örgüye bağlı olarak maksimum atkı sıklığının değişimi üzerinde bir araştırma
Başlık çevirisi yok
MELTEM ASLI NARTER
- Manisa yöresinde domateste anlaşmalı tarım ve karşılaşılan sorunlar
Başlık çevirisi yok
OSMAN MURAT KOÇTÜRK