Evaluation of vector and graph-based search methods in a banking knowledge platform using advanced language models
Bankacılık bilgi platformu için vektör ve grafik temelli arama yöntemlerinin gelişmiş dil modelleriyle değerlendirilmesi
- Tez No: 921995
- Danışmanlar: DR. ÖĞR. ÜYESİ SÜHA TUNA
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Büyük Veri ve İş Analitiği Ana Bilim Dalı
- Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
- Sayfa Sayısı: 145
Özet
Günümüzde bankacılık IT sektöründe teknik dokümantasyonun etkin yönetimi ve erişilebilirliği, kurumsal verimliliği ve bilgi paylaşımını doğrudan etkileyen kritik bir faktör haline gelmiştir. Özellikle büyük ölçekli finans kuruluşlarında, karmaşık sistemlerin bakımı, günlük operasyonların sürdürülebilirliği ve teknik sorunların hızlı çözümü için doğru dokümana zamanında erişim hayati önem taşımaktadır. Artan dijitalleşme ve sistem karmaşıklığı ile birlikte, teknik dokümanların hacmi ve çeşitliliği de artmakta, bu durum geleneksel arama yöntemlerinin yetersiz kalmasına neden olmaktadır. Bankacılık sektöründeki teknik dokümanların çoğunlukla hassas ve kritik bilgiler içermesi, arama sistemlerinin güvenilirliğini ve doğruluğunu daha da önemli hale getirmektedir. Bu bağlamda geliştirilen araştırma, bankacılık IT sektöründeki teknik dokümantasyon yönetimini iyileştirmeyi hedefleyen gelişmiş bir semantik arama sisteminin geliştirilmesi ve değerlendirilmesine odaklanmaktadır. Çalışmanın başlangıç fazında, farklı dil modellerinin teknik dokümantasyon aramalarındaki etkinliğini değerlendirmek için kapsamlı bir model seçim süreci yürütülmüştür. Seçilen 12 model arasında, farklı büyüklük ver türlerde geniş bir yelpaze yer almaktadır. Model seçiminde, çok dilli destek kapasitesi ve ölçeklenebilirlik kriterleri göz önünde bulundurulmuştur. Modellerin eğitim sürecinde, özellikle bankacılık sektörüne özgü teknik terimlerin ve kavramların doğru şekilde işlenmesi için özel bir önem verilmiştir. Veri hazırlık aşamasında, JSON formatındaki HTML içerikli teknik dokümanlar üzerinde kapsamlı bir temizleme ve standardizasyon yapılmıştır. Toplam 3600 teknik makalenin bulunduğu bilgi paylaşım platformunda teknik ve önemli bilgiler korunarak temizleme işlemini yapılmasına özen gösterildi. Dokümanlar öncelikle format, yapı açısından normalize edilerek dil tespiti, karakter kodlaması düzeltmeleri, tekrarlayan girişlerin ayıklanması, tutarsız boşlukların kaldırılması ve eksik veya hatalı karakterlerin düzeltilmesi gibi temel ön işleme adımları uygulanmıştır. Model eğitimi ve değerlendirme sürecinde, seçilen modeller farklı donanım konfigürasyonlarında test edilmiş, ölçeklenebilirlik ve kaynak kullanımı açısından detaylı performans analizleri gerçekleştirilmiştir. Her model için optimum batch size ve öğrenme oranı parametreleri deneysel olarak belirlenmiştir. Metin özetleme çıktıları, sonraki aşamalarda gerçekleştirilen benzerlik hesaplamaları ve kümeleme analizleri için temel girdi olarak kullanılmıştır. Araştırma kapsamında uygulanan kapsamlı değerlendirme çerçevesi, on farklı metrik grubu üzerinden sistemin performansını analiz etmektedir. Temel metrikler değerlendirmesinde, LaBSE modeli kesinlik değerinde 0.7, duyarlılık değerinde 0.7 ve F1 skorunda 0.7 ile üstün performans sergilemiştir. Graf tabanlı yaklaşımlar, özellikle distiluse-base-multilingual-cased-v2 (distiluse) ve paraphrase-multilingual-MiniLM-L12-v2 (paraphrase) modellerinde 0.5 − 0.6 aralığında tutarlı sonuçlar gösterirken, vektör tabanlı yaklaşımlarda all-mpnet-base-v2 (all-mpnet) ve paraphrase modelleri 0.4 − 0.5 aralığında orta düzey performans sergilemiş,xlm-robert ve microsoft/Multilingual-MiniLM-L12-H384 (microsoft-m) gibi modeller ise 0.1 civarında düşük performans göstermiştir. Performans metrikleri açısından, vektör tabanlı yaklaşımlar 0.01 − 0.04 saniye aralığındaki yanıt süreleriyle, graf tabanlı yaklaşımların 40+ saniyelik işlem sürelerine göre belirgin bir üstünlük sağlamıştır. Yanıt süresi değerlendirmesinde FastText Turkish (fasttext-t) modeli vektör aramada, distiluse modeli ise graf aramada en hızlı yanıt sürelerini elde etmiştir. Ortalama kesinlik değerlendirmesinde LaBSE modeli 0.7 skoruyla öne çıkarken, graf tabanlı arama paraphrase (0.5) ve distiluse (0.4) modellerinde daha tutarlı performans göstermiştir. Benzerlik metrikleri değerlendirmesinde, vektör aramanın intfloat-m modeliyle 20.7'ye varan Manhattan mesafesi skorları elde ettiği, xlm-r-multilingual-v1 (xlm-r-mult) ve paraphrase modellerinin 1.2 − 2.1 aralığında orta düzey mesafeler gösterdiği gözlemlenmiştir. Graf aramada ise xlm-r-mult 0.16, LaBSE ve paraphrase 0.1 − 0.13 aralığında skorlar elde etmiştir. Sıra korelasyonu analizinde, vektör aramada all-mpnet mükemmel korelasyon (1.0) gösterirken, microsoft-m, intfloat-m ve bert-base-multilingual-cased (mbert) modelleri 0.9 düzeyinde güçlü korelasyonlar sergilemiştir. Graf tabanlı aramada tüm modeller mükemmel sıra korelasyonu (1.0) göstermiştir. Kümeleme metrikleri analizinde, graf aramanın mbert modeliyle 0.9'luk silüet skoru elde ettiği ve bge-large modelinin 0.8 ile takip ettiği görülmüştür. Vektör aramada bge-large ve xlm-r-mult 0.8'lik skorlarla öne çıkmıştır. Küme kalitesi metriğinde t5-base 0.6, fasttext-t ve bge-large 0.5 skorlarla güçlü performans gösterirken, all-mpnet ve paraphrase gibi modeller 0.1 civarında düşük performans sergilemiştir. Çeşitlilik metriklerinde, intfloat-m modeli vektör aramada liste içi benzerlik skoru 17, gömme çeşitliliğinde 300 ve benzersizlik skorunda 22 gibi yüksek değerler elde ederken, graf arama daha tutarlı ancak düşük skorlar göstermiştir. Normalize çeşitlilik değerleri vektör aramada 0.3−0.9, graf aramada 0.3−0.4 aralığında seyretmiştir. Metin üretimi metriklerinde, LaBSE modeli BLEU skorunda 0.2 ve ROUGE metriklerinde 0.3−0.35 değerleriyle öne çıkmıştır. Bge-large ve intfloat-m modelleri ROUGE değerlendirmelerinde 0.2−0.3 aralığında başarılı performans göstermiştir. Karmaşıklık ölçümlerinde modeller 1.0−1.3 aralığında tutarlı skorlar elde etmiştir. Bağlamsal metrikler değerlendirmesinde, sorgu ilgililiği için bge-large 0.02, anlamsal tutarlılıkta LaBSE ve fasttext-t 0.11 − 0.12 ve konu tutarlılığında ise LaBSE ve paraphrase 0.13 − 0.14 skorlarına ulaşmıştır. Referans hizalamasında bge-large ve LaBSE 0.03 civarında en yüksek skorları elde etmiştir. Metin kalitesi metriklerinde, microsoft-m, LaBSE ve intfloat-m modelleri akıcılık değerlendirmesinde 0.7, paraphrase ve xlm-r-mult modelleri okunurluk değerlendirmesinde 0.9'a varan skorlar elde etmiştir. Bağlamsal ilgililik değerleri ise 0.1−0.15 aralığında kalırken, LaBSE 0.15 ile en yüksek skoru elde etmiştir. Genel dil anlama değerlendirmelerinde, intfloat-m modeli 0.7075 ortalama skorla en yüksek performansı göstermiştir. Xlm-robert dilsel kabul edilebilirlik korpusu metriğinde 0.9562 ve bge-large anlamsal metin benzerliği 0.6800 skorları elde edilmiştir. Fasttext-t modeli tüm metriklerde 0.4−0.5 aralığında tutarlı ancak orta düzey performans sergilemiştir. İndeksleme ve benzerlik yöntemlerinin karşılaştırmalı analizi, arama sisteminin genel performansında indeksleme yönteminin çok daha belirleyici olduğunu ortaya koymuştur. Cosine, euclidean, manhattan, rbf ve linear gibi farklı benzerlik metodları, aynı model ve indeksleme yöntemi içinde neredeyse özdeş performans gösterirken, indeksleme yönteminin seçimi sonuçlarda önemli farklılıklar yaratmıştır. HNSW ve Flat_L2 indeksleme yöntemleri tutarlı şekilde üstün performans göstermiş, IVF_flat karışık sonuçlar verirken, PQ ve LSH en düşük performansı sergilemiştir. HNSW, Flat_L2'ye kıyasla %15 daha az bellek kullanımıyla benzer doğruluk oranları yakalamış, %30 daha uzun başlangıç kurulum süresine rağmen arama operasyonlarında %45'e varan hız artışı sağlamıştır. Bu bulgular, benzer sistemlerin implementasyonunda benzerlik metriği seçiminden ziyade indeksleme yöntemi seçimine öncelik verilmesi gerektiğini, özellikle HNSW ve Flat_L2'nin tercih edilmesi gerektiğini göstermektedir. Ancak nihai seçimde hesaplama verimliliği ve ölçeklenebilirlik gibi pratik faktörlerin de göz önünde bulundurulması önemlidir. Bu kapsamlı araştırmanın sonuçları, bankacılık IT sektöründeki teknik dokümantasyon sistemlerinde arama performansının optimizasyonunda, indeksleme yöntemi seçiminin benzerlik metriği seçimine göre daha kritik olduğunu ortaya koymuştur. Araştırma bulguları, teknik ortamlarda verimli arama sistemlerinin geliştirilmesi için farklı operasyonel senaryolarda kullanılabilecek somut ve ölçülebilir performans metrikleri sunmanın yanı sıra, gelecekteki benzer uygulamalar için de değerli bir referans kaynağı oluşturmaktadır. Bu çalışma, bankacılık sektöründe teknik dokümantasyon yönetiminin iyileştirilmesi yoluyla operasyonel verimliliğin artırılması, sorun çözme süreçlerinin hızlandırılması ve kurumsal bilgi birikiminin daha etkin kullanılması konularında önemli katkılar sağlamakta, aynı zamanda benzer sektörlerdeki dokümantasyon yönetimi çalışmaları için de yol gösterici bir kaynak niteliği taşımaktadır. Araştırmanın sunduğu metodoloji ve bulgular, özellikle büyük ölçekli finansal kuruluşlarda teknik bilgi yönetimi süreçlerinin optimizasyonu için pratik çözümler sunmakta ve gelecekteki araştırmalar için sağlam bir temel oluşturmaktadır.
Özet (Çeviri)
In the contemporary banking IT sector, the effective management and accessibility of technical documentation have emerged as crucial factors that directly influence organizational efficiency and knowledge sharing. In particular within large-scale financial institutions, timely access to accurate documentation is essential for the maintenance of complex systems, the sustainability of daily operations, and the swift resolution of technical issues. This research develops and evaluates an advanced semantic search system for technical documentation retrieval in the banking IT sector, implementing a comprehensive evaluation framework across multiple metric categories. The study analyzes twelve language models on a 3600 article knowledge-sharing platform, utilizing both vector-based and graph-based approaches. Performance analysis across metric groups revealed distinctive patterns: Basic metrics demonstrated one of the Bidirectional Encoder Representations from Transformers (BERT) models, Language-Agnostic BERT Sentence Embedding (LaBSE) has superior performance (Harmonic mean of precision and recall (F1): 0.544, Precision: 0.6, Recall: 0.505), consistently outperforming other models by 15 − 20% across traditional retrieval metrics. Performance metrics showed vector search's efficiency (0.01 − 0.04s) versus graph search's consistency (40 + s), with vector approaches demonstrating up to 1000x faster response times. Similarity metrics highlighted vector search's higher Manhattan Distance scores (up to 20.7) while graph search maintained perfect rank correlation (1.0), indicating different strengths in semantic understanding. Clustering metrics revealed graph search's superior Silhouette Scores (0.9), indicating better-defined clusters, with a 30% improvement over vector-based approaches. Diversity metrics showed notable variations, with the vector search achieving high embedding diversity (intfloat/multilingual-e5-large (intfloat-m) reaching 300) while the graph search maintained more normalized measurements. The implementation of different clustering approaches demonstrated the effectiveness of graph-based methods in maintaining semantic relationships between documents, with a 25% improvement in cluster cohesion. Text Generation metrics indicated strong Bilingual Evaluation Understudy (BLEU) and Recall-Oriented Understudy for Gisting Evaluation (ROUGE) scores for LaBSE (0.2 − 0.35), surpassing baseline models by 40%. Contextual metrics showed moderate performance in semantic coherence (0.11−0.14) but lower query relevance (0.02 − 0.03), identifying areas for future improvement. Text Quality metrics demonstrated high fluency (0.7) and readability (0.9) scores, showing a 50% improvement over traditional search approaches. Comprehension metrics revealed areas for improvement in Recall, Accuracy, Consistency, and Efficiency (RACE) (0.2) and Stanford Question Answering Dataset F1 (0.05), though still outperforming baseline systems by 25%. The results of the General Language Understanding Evaluation (GLUE) benchmark provided additional validation, with intfloat-m achieving the highest average score (0.7075), while specific models excelled in individual tasks (xlm-roberta-base (xlm-robert) in Corpus of Linguistic Acceptability (CoLA): 0.9562 and BGE-large-en-v1.5 (bge-large) in Semantic Textual Similarity (STS): (0.68). The comprehensive analysis of similarity methods (Cosine, Euclidean, Manhattan, Radial Basis Function, Linear) revealed minimal performance variations in different metrics, with average performance differences remaining within the range 5−10%. Cosine similarity showed marginally better performance (3 − 5%) in technical document matching, while Manhattan distance proved more effective for numerical feature comparisons. In contrast, indexing methods significantly impacted search quality and performance. Hierarchical Navigable Small World (HNSW) demonstrated superior results with 40−50% improvement in retrieval accuracy compared to basic indexing methods, while Flat_L2 showed 30−40% improvement. Across all evaluation metrics, these methods consistently outperformed other approaches like Inverted File (IVF)_flat, Product Quantization (PQ), and Locality Sensitive Hashing (LSH). IVF_flat showed variable performance, sometimes approaching Flat_L2's effectiveness but often falling short by 15−20%. PQ and LSH typically showed the weakest performance, with accuracy rates 25 − 35% lower than HNSW and a higher computational overhead (20−30% increase in processing time). Resource utilization analysis revealed that HNSW achieved optimal performance with 15% less memory usage than Flat_L2 while maintaining comparable accuracy. The trade-off between index build time and search performance showed that HNSW requires 30% more initial setup time but delivers 45% faster search operations. This comprehensive evaluation establishes that indexing method selection is significantly more crucial than similarity metric choice for optimizing search performance in technical documentation systems. HNSW and Flat_L2 are the recommended approaches for similar implementations in banking IT knowledge management systems. The findings provide concrete guidelines for implementing efficient search systems in technical environments, with quantifiable performance metrics across different operational scenarios. This study contributes to enhancing operational efficiency, speeding up problem-solving processes, and improving the use of institutional knowledge through better technical documentation management in the banking sector. It also offers valuable insights for documentation management in similar industries and provides practical solutions for optimizing technical knowledge management in large-scale financial institutions, laying a foundation for future research.
Benzer Tezler
- Advancements in vector retrieval: Analyzing methods and applications in NLP and LLM
Vektör çıkarımındaki gelişmeler: Yöntemlerin ve uygulamaların NLP ve büyük dil modellerinde incelenmesi
YAZIM BERİL ULUER
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstinye ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPER ÖNER
- Arama sorguları üzerinde görev tabanlı kümeleme
Task-based clustering on search queries
ALMILA SELCEN AKGÜN
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF YASLAN
- Yüksek düzeyde sentezlemede hızlı tasarım alanı keşfi için makine öğrenmesi tabanlı yeni bir optimizasyon yöntemi
A novel machine learning-based optimization methodology for fast design space exploration in high-level synthesis
ESRA ÇELİK
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. DENİZ DAL
- Network analysis of co-search-based investor attention on stock prices
Ortak arama tabanlı yatırımcı dikkatinin hisse senedi fiyatları üzerindeki ağ analizi
MÜGE ÖZDEMİR
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. OKTAY TAŞ
- Evaluation of graph embedding based reasoning over knowledge bases
Bilgi tabanları üzerinde bilgi çizgesi gömme muhakemesi
BETÜL BAYRAK
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ROYA CHOUPANI
PROF. DR. ERDOĞAN DOĞDU