Refurbished embeddings with integrated guidance networks forefficient context-length scaling
Bağlam uzunluğunu verimli ölçeklemek için entegre rehber ağlarla yeniden düzenlenmiş temsiller
- Tez No: 972973
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Doğal dil işleme, Yapay sinir ağları, Natural language processing, Artificial neural networks
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, çok uzun belgelerin verimli temsili için geliştirilen REIGN (Refurbished Embeddings with Integrated Guidance Networks) adlı çerçeveyi sunmaktadır. Token uzunluğu kısıtlarıyla sınırlı Transformer tabanlı kodlayıcıların aksine, REIGN hiyerarşik bir yaklaşım benimser: Eğitilmeyen bir Rehber Ağ (GN) sabit boyutlu parça temsilleri üretir ve bu temsiller SimCLR tarzı bir karşıt öğrenme hedefiyle GN üzerine yerleştirilerek eğitilen hafif bir model tarafından bütünleştirilir. Ayrıklaştırılmış bu yapı, token düzeyindeki modellere geri yayılım yapılmaksızın yüz binlerce token içeren belgelerin anlamsal olarak işlenmesini mümkün kılar. GoodWiki-Long benchmark veri kümesinde REIGN, baz GN referans başarımlarına kıyasla nDCG@10 skorunda +3 yüzde puanlık bir iyileşme sağlamış ve aynı zamanda önemli hesaplama tasarrufları sunmuştur. Ek olarak önerilen önbellekleme mekanizması GN temsillerinin yeniden kullanılmasını sağlayarak eğitimi hızlandırmakta, REIGN'i ölçeklenebilir belge getiriminde sınırlı kaynaklı ortamlara son derece uygun hale getirmektedir.
Özet (Çeviri)
This thesis presents REIGN (Refurbished Embeddings with Integrated Guidance Networks), a framework for efficient representation learning of very long documents. Unlike Transformer-based encoders constrained by token length, REIGN adopts a hierarchical approach: a frozen Guidance Network (GN) first produces fixed-size chunk embeddings, which are then aggregated by a lightweight encoder trained with a SimCLR-style contrastive objective. This decoupled design enables semantic understanding of documents spanning hundreds of thousands of tokens without backpropagating through token-level models. On the GoodWiki-Long benchmark, REIGN improves retrieval quality by +3 percentage points (pp) in nDCG@10 over truncated GN baselines, while also offering significant computational savings. A caching mechanism further accelerates training by reusing GN embeddings, making REIGN highly effective for scalable document retrieval under resource constraints.
Benzer Tezler
- Yenilenmiş ürünlerde ürün sorumluluğu
Product liability in refurbished products
MUSTAFA BEKTAŞ
Yüksek Lisans
Türkçe
2025
HukukBursa Uludağ ÜniversitesiÖzel Hukuk Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞENUR ŞAHİN CANER
- Yeni ve yenilenmiş ürünler için DQN tabanlı envanter dağıtım ajanı uygulaması
Implementation of a DQN-based inventory distribution agent for new and refurbished products
SELİN AYSALAR
Yüksek Lisans
Türkçe
2024
Endüstri ve Endüstri MühendisliğiYıldız Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALEV TAŞKIN
- Yenilenmiş akıllı telefon piyasasında makine öğrenmesi ile fiyat tahmin modelleri oluşturulması
Developing machine learning models for price prediction in the refurbished smartphone market
BERRİN BEYZA ÖZEN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA AYDIN
DR. ÖĞR. ÜYESİ MUHAMMED FATİH ALAEDDİNOĞLU
- The changing iconography of nizami manuscripts in the Ottoman, Safavid and Mughal book cultures
Osmanlı, Safevi ve Babürlü kitap kültürlerinde nizami hamselerinin değişen ikonografisi
İKBAL ZEYNEP DURSUNOĞLU
Yüksek Lisans
İngilizce
2016
Sanat TarihiBoğaziçi ÜniversitesiTarih Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM KAFESCİOĞLU ERSOY
- Dairesel labirent savakların hidrolik özellikleri, deneysel tasarımı ve nümerik modellenmesi
Hydraulic characteristics, experimental design and numerical modeling of circular labyrinth weirs
ALİ YILDIZ
Doktora
Türkçe
2022
İnşaat MühendisliğiKonya Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALİ İHSAN MARTI
PROF. DR. MUSTAFA GÖĞÜŞ