Cross model alignment in natural language processing
Doğal dil işlemede modeller arası hizalama
- Tez No: 851092
- Danışmanlar: PROF. DR. MEHMET FATİH AMASYALI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 81
Özet
Doğal Dil İşleme (NLP) alanında, farklı model temsillerinin hizalanması, dil anlama ve işleme kapasitesini artırmanın temel taşlarındandır. Bu çalışma, farklı kelime temsil modelleri arasında senkronizasyon ve kelime temsillerinden cümle temsillerine bilgi aktarımı özelinde çift yönlü bir çapraz model hizalama keşfine çıkmaktadır. Öncelikle, GloVe ve FastText gibi, her biri farklı veri setlerinde eğitilmiş farklı kelime temsil modellerinin hizalanmasını detaylandırıyoruz. Bu modelleri hizalayarak farklı dilleri birleştirmeye çalışıyoruz. Böylelikle farklı görevler için temsil kapasitelerini zenginleştirmeyi hedefliyoruz. Bu modeller arasındaki boşluğu etkili bir şekilde köprüleyebilecek, özellikle denetimsiz(unsupervised) yöntemler başta olmak üzere, farklı hizalama tekniklerini kullaniyoruz. İkinci olarak, araştırmamız bilgi aktarımı alanına uzanıyor. Daha belirgin olarak, cümle temsil kapasitesi yüksek olan bir modelden (sBERT), kelime temsil seviyesi için kullanılan ancak cümle temsil seviyesi daha zayıf olan modele doğru (FastText) bilgi aktraimini, hizalama işlemini de göze alarak, sağlamaya çalışıyoruz. Amacımız, kelime temsillerinin karşı taraftaki zengin cümle semantikleriyle hizalama yöntemiyle sorunsuz bir şekilde bilgi aktarmını sağlamaktır. Bu iki araştırma alanının bir araya gelmesi, sadece farklı modelleri hizalamakla kalmayıp aynı zamanda modeller arası yeni melez modellerin de oluşumunu vaat etmektedir, böylece çok yönlülüğü gelişmiş NLP sistemlerinin gelişimine katkıda bulunmaktadır. Bu tez, çapraz-model hizalama için yenilikçi yöntemler önermekte ve daha tutarlı, bağlam farkındalığı yüksek ve güçlü NLP uygulamaları yaratmak için gelecekteki araştırmaların zeminini hazırlamaktadır.
Özet (Çeviri)
In Natural Language Processing (NLP), the alignment of different model representations is a cornerstone for enhancing language understanding and processing. This study embarks on a dual-faceted exploration of cross-model alignment, specifically targeting the synchronization between diverse word embedding models and the transfer of knowledge from word to sentence embeddings. Firstly, we dissect the alignment of word embeddings, comparing models such as GloVe and FastText, which are each trained on distinct datasets. By aligning these models, we seek to unify the linguistic information captured separately, thus enriching the representational capacity for downstream tasks. We investigate alignment techniques, specifically unsupervised methods, that can effectively bridge the gap between these models, enabling a harmonized representation of words across different training corpora. Secondly, our research extends to the domain of knowledge transfer between models at different granularity levels—namely, from word embeddings like FastText to sentence-level embeddings such as those generated by sBERT. Here, the challenge lies in preserving the nuanced knowledge of word embeddings while scaling up to sentence-level representations. The goal is to facilitate a seamless transfer that aligns and enhances the sentence embeddings with the rich lexical semantics of word embeddings. The convergence of these two research streams promises to not only align but also to cross-pollinate models, thus contributing to the development of NLP systems with improved cross-lingual and cross-model versatility. This thesis proposes innovative methods for cross-model alignment and sets the stage for future research in creating more coherent, context-aware, and powerful NLP applications.
Benzer Tezler
- Kullanıcı destek sistemlerinde yardım biletlerinin otomatik sınıflandırılması
Automatic classification of help tickets in user support systems
MÜCAHİT ALTINTAŞ
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Motion and energy transfer through coupled micro/nano-scale cantilever beams via mechanical resonance absorption
Mikro/nano-boyutlu ankastre kirişlerde mekanik rezonans absorpsiyonu yardımıyla hareket ve enerji transferi
ÜNAL DEĞİRMENCİ
Yüksek Lisans
İngilizce
2014
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ERDAL BULĞAN
- Durgun görüntülerden yüz ifadelerinin tanınması
Facial expression recognition from static images
BİLGE SÜHEYLA AKKOCA
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- 4D printing of body temperature responsive hydrogels with self-healing and shape-memory abilities
Kendi kendini onarma ve şekil hafıza özelliklerine sahip vücut sıcaklığına duyarlı hidrojellerin dört boyutlu baskısı
GAMZE AYDIN
Yüksek Lisans
İngilizce
2024
Polimer Bilim ve Teknolojisiİstanbul Teknik ÜniversitesiPolimer Bilim ve Teknolojisi Ana Bilim Dalı
PROF. DR. OĞUZ OKAY
DR. TURDİMUHAMMAD ABDULLAH
- Alüminyum 7075 alaşımının akışla şekillendirme ve yaşlandırma işlemi sonrası mikroyapı ve mekanik özelliklerinin incelenmesi
Investigation of the microstructure and mechanical properties of aluminum 7075 alloy after flowforming and ageing process
ABDULKERİM KELLECİ
Yüksek Lisans
Türkçe
2024
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT BAYDOĞAN