Küçük ölçekli bilgi alanları için optimal embedding modeli ve optimize edilmiş rag akışının tasarımı
Design of an optimal embedding model and an optimized rag pipeline for small-scale knowledge domains
- Tez No: 1003220
- Danışmanlar: DOÇ. DR. SERKAN GÖNEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: İstanbul Ticaret Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Düşük kaynaklı Retrieval Augmented Generation (RAG) sistemlerinde model boyutunun, alanına özgü fine tuning ve embedding vektörlerinin binarization stratejilerinin retrieval performansı üzerindeki etkisini incelemektedir. Deneylerde, büyük ölçekli genel amaçlı bir model (Jasper 600M) ile hafif alternatifler (MDBR LEAF) yalnızca CPU kullanılan ortamlarda karşılaştırılmıştır. Elde edilen bulgular, alanına fine-tuning ayarın, yaklaşık 23 milyon parametreli bir modelin, 600 milyon parametreli bir modeli parafraz ağırlıklı retrieval görevlerinde geride bırakmasını mümkün kıldığını göstermektedir. Fine Tuning MDBR LEAF modeli, daha yüksek doğruluk üretirken yaklaşık 16 kat daha hızlı çalışmakta ve %90'dan fazla depolama tasarrufu sağlamaktadır. Çalışmada ayrıca bellek ve hesaplama maliyetlerini azaltmak amacıyla dört farklı binarization yöntemi (Sign, Zero One, Medyan, ITQ) değerlendirilmiştir. Sign tabanlı binarization, tüm modellerde retrieval performansını işlevsiz hale getirmektedir. Buna karşılık, Medyan stratejisi özellikle hafif modellerde anlamsal yapının büyük kısmını koruyarak, embedding boyutunu %95'in üzerinde küçültürken doğrulukta yalnızca yaklaşık 6–7 puanlık bir kayba yol açmıştır. Fine tuning MDBR LEAF ile Medyan binarization birlikte kullanımı; doğruluk, hız ve depolama gereksinimleri arasında güçlü bir denge sağlayarak, küçük ve özelleştirilmiş modellerin kaynak kısıtlı ortamlarda pratik ve erişilebilir RAG sistemleri oluşturabileceğini göstermektedir.
Özet (Çeviri)
This study examines the impact of model size, domain-specific fine-tuning, and embedding binarization strategies on retrieval performance in low-resource Retrieval-Augmented Generation (RAG) systems. The experiments compare a large general-purpose model (Jasper-600M) with lightweight alternatives (MDBR LEAF) under CPU-only conditions. The findings demonstrate that domain-specific fine-tuning enables a model with approximately 23 million parameters to outperform a 600-million-parameter model on paraphrase-heavy retrieval tasks. The fine-tuned MDBR-LEAF model achieves higher accuracy while operating up to 16 times faster and requiring over 90% less storage. The study also evaluates four binarization methods (Sign, Zero One, Medyan, ITQ) to reduce memory and computational costs. Sign-based binarization nearly collapses retrieval performance across all models. In contrast, the Medyan strategy preserves most of the semantic structure, particularly for lightweight models, reducing the embedding size by more than 95% with only a 6–7-point loss in accuracy. The combination of fine-tuned MDBR LEAF with Medyan binarization provides a strong balance among accuracy, speed, and storage efficiency, demonstrating that small, specialized models can enable practical and accessible RAG systems in resource-constrained environments.
Benzer Tezler
- Contribution a la recherche d'un cadre juridique pour un droit international de laconcurrence plus efficace
Daha etkin bir uluslararası rekabet için hukuki çerçeve arayışı
ALİ CENK KESKİN
Doktora
Fransızca
2009
HukukGalatasaray ÜniversitesiKamu Hukuku Ana Bilim Dalı
PROF. DR. JEAN MARC SOREL
PROF. DR. HALİL ERCÜMENT ERDEM
- A distributed shared memory framework for complex event processing in resource constrained IoT devices
Kısıtlı kaynağa sahip nesnelerin interneti sistemlerinde karmaşık görev işleme için dağıtık ve paylaşımlı bir bellek anaçatısı tasarımı
HALİT UYANIK
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TOLGA OVATMAN
- Spatial development of the rural settlements in Zakho district
Zaho ilçesindeki kırsal yerleşmelerin mekansal gelişimi
WİSAM YOUSİF SALEH
- Kentsel tarım uygulama yaklaşımı: Uşak kenti örneği
Approach of urban agriculture practice: A case study in Usak province
HÜSEYİN BERK TÜRKER
Doktora
Türkçe
2020
Şehircilik ve Bölge PlanlamaSüleyman Demirel ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
DOÇ. DR. MURAT AKTEN
- A data-driven approach to identifying and selecting temporary disaster debris management sites: The case of Istanbul
Geçici afet moloz yönetim alanlarının belirlenmesi ve seçimi için veri odaklı bir yaklaşım: İstanbul örneği
BURAK KABAKLI
Yüksek Lisans
İngilizce
2025
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞEYDA SERDAR ASAN