Cross model alignment in natural language processing
Doğal dil işlemede modeller arası hizalama
- Tez No: 851092
- Danışmanlar: PROF. DR. MEHMET FATİH AMASYALI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 81
Özet
Doğal Dil İşleme (NLP) alanında, farklı model temsillerinin hizalanması, dil anlama ve işleme kapasitesini artırmanın temel taşlarındandır. Bu çalışma, farklı kelime temsil modelleri arasında senkronizasyon ve kelime temsillerinden cümle temsillerine bilgi aktarımı özelinde çift yönlü bir çapraz model hizalama keşfine çıkmaktadır. Öncelikle, GloVe ve FastText gibi, her biri farklı veri setlerinde eğitilmiş farklı kelime temsil modellerinin hizalanmasını detaylandırıyoruz. Bu modelleri hizalayarak farklı dilleri birleştirmeye çalışıyoruz. Böylelikle farklı görevler için temsil kapasitelerini zenginleştirmeyi hedefliyoruz. Bu modeller arasındaki boşluğu etkili bir şekilde köprüleyebilecek, özellikle denetimsiz(unsupervised) yöntemler başta olmak üzere, farklı hizalama tekniklerini kullaniyoruz. İkinci olarak, araştırmamız bilgi aktarımı alanına uzanıyor. Daha belirgin olarak, cümle temsil kapasitesi yüksek olan bir modelden (sBERT), kelime temsil seviyesi için kullanılan ancak cümle temsil seviyesi daha zayıf olan modele doğru (FastText) bilgi aktraimini, hizalama işlemini de göze alarak, sağlamaya çalışıyoruz. Amacımız, kelime temsillerinin karşı taraftaki zengin cümle semantikleriyle hizalama yöntemiyle sorunsuz bir şekilde bilgi aktarmını sağlamaktır. Bu iki araştırma alanının bir araya gelmesi, sadece farklı modelleri hizalamakla kalmayıp aynı zamanda modeller arası yeni melez modellerin de oluşumunu vaat etmektedir, böylece çok yönlülüğü gelişmiş NLP sistemlerinin gelişimine katkıda bulunmaktadır. Bu tez, çapraz-model hizalama için yenilikçi yöntemler önermekte ve daha tutarlı, bağlam farkındalığı yüksek ve güçlü NLP uygulamaları yaratmak için gelecekteki araştırmaların zeminini hazırlamaktadır.
Özet (Çeviri)
In Natural Language Processing (NLP), the alignment of different model representations is a cornerstone for enhancing language understanding and processing. This study embarks on a dual-faceted exploration of cross-model alignment, specifically targeting the synchronization between diverse word embedding models and the transfer of knowledge from word to sentence embeddings. Firstly, we dissect the alignment of word embeddings, comparing models such as GloVe and FastText, which are each trained on distinct datasets. By aligning these models, we seek to unify the linguistic information captured separately, thus enriching the representational capacity for downstream tasks. We investigate alignment techniques, specifically unsupervised methods, that can effectively bridge the gap between these models, enabling a harmonized representation of words across different training corpora. Secondly, our research extends to the domain of knowledge transfer between models at different granularity levels—namely, from word embeddings like FastText to sentence-level embeddings such as those generated by sBERT. Here, the challenge lies in preserving the nuanced knowledge of word embeddings while scaling up to sentence-level representations. The goal is to facilitate a seamless transfer that aligns and enhances the sentence embeddings with the rich lexical semantics of word embeddings. The convergence of these two research streams promises to not only align but also to cross-pollinate models, thus contributing to the development of NLP systems with improved cross-lingual and cross-model versatility. This thesis proposes innovative methods for cross-model alignment and sets the stage for future research in creating more coherent, context-aware, and powerful NLP applications.
Benzer Tezler
- Kullanıcı destek sistemlerinde yardım biletlerinin otomatik sınıflandırılması
Automatic classification of help tickets in user support systems
MÜCAHİT ALTINTAŞ
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Döngüsel ekonomi bağlamında yağmur suyu hasadı pratiklerinin kentsel açık alanlardaki performansının ölçülmesi
Measuring the performance of rainwater harvesting practices in urban open spaces within the context of circular economy
ŞAZİYE LOFCALI
Yüksek Lisans
Türkçe
2025
Peyzaj Mimarlığıİstanbul Teknik ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
PROF. DR. HAYRİYE EŞBAH TUNÇAY
- Dünya'da kutup araştırma faaliyetleri ve Türkiye için optimum kutup araştırma birimi işletme modeli
Polar research activities in the world and the optimal polar research organization operating model for Türkiye
ÖZGÜN OKTAR
Doktora
Türkçe
2025
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma Mühendisliği Ana Bilim Dalı
PROF. DR. BURCU ÖZSOY
- Karar süreçlerinde değer odağının dayanıklılıkla bütünleştirilmesi: inşaat sektörüne yönelik niteliksel model ve kıyaslama çerçevesi
Integrating value-oriented decision-making with resilience: a qualitative model and benchmarking framework for the construction sector
GÖKSEL KUTMEN
Doktora
Türkçe
2025
İnşaat Mühendisliğiİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. HÜSNÜ MURAT GÜNAYDIN
- Motion and energy transfer through coupled micro/nano-scale cantilever beams via mechanical resonance absorption
Mikro/nano-boyutlu ankastre kirişlerde mekanik rezonans absorpsiyonu yardımıyla hareket ve enerji transferi
ÜNAL DEĞİRMENCİ
Yüksek Lisans
İngilizce
2014
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ERDAL BULĞAN