Cross model alignment in natural language processing
Doğal dil işlemede modeller arası hizalama
- Tez No: 851092
- Danışmanlar: PROF. DR. MEHMET FATİH AMASYALI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Doğal Dil İşleme (NLP) alanında, farklı model temsillerinin hizalanması, dil anlama ve işleme kapasitesini artırmanın temel taşlarındandır. Bu çalışma, farklı kelime temsil modelleri arasında senkronizasyon ve kelime temsillerinden cümle temsillerine bilgi aktarımı özelinde çift yönlü bir çapraz model hizalama keşfine çıkmaktadır. Öncelikle, GloVe ve FastText gibi, her biri farklı veri setlerinde eğitilmiş farklı kelime temsil modellerinin hizalanmasını detaylandırıyoruz. Bu modelleri hizalayarak farklı dilleri birleştirmeye çalışıyoruz. Böylelikle farklı görevler için temsil kapasitelerini zenginleştirmeyi hedefliyoruz. Bu modeller arasındaki boşluğu etkili bir şekilde köprüleyebilecek, özellikle denetimsiz(unsupervised) yöntemler başta olmak üzere, farklı hizalama tekniklerini kullaniyoruz. İkinci olarak, araştırmamız bilgi aktarımı alanına uzanıyor. Daha belirgin olarak, cümle temsil kapasitesi yüksek olan bir modelden (sBERT), kelime temsil seviyesi için kullanılan ancak cümle temsil seviyesi daha zayıf olan modele doğru (FastText) bilgi aktraimini, hizalama işlemini de göze alarak, sağlamaya çalışıyoruz. Amacımız, kelime temsillerinin karşı taraftaki zengin cümle semantikleriyle hizalama yöntemiyle sorunsuz bir şekilde bilgi aktarmını sağlamaktır. Bu iki araştırma alanının bir araya gelmesi, sadece farklı modelleri hizalamakla kalmayıp aynı zamanda modeller arası yeni melez modellerin de oluşumunu vaat etmektedir, böylece çok yönlülüğü gelişmiş NLP sistemlerinin gelişimine katkıda bulunmaktadır. Bu tez, çapraz-model hizalama için yenilikçi yöntemler önermekte ve daha tutarlı, bağlam farkındalığı yüksek ve güçlü NLP uygulamaları yaratmak için gelecekteki araştırmaların zeminini hazırlamaktadır.
Özet (Çeviri)
In Natural Language Processing (NLP), the alignment of different model representations is a cornerstone for enhancing language understanding and processing. This study embarks on a dual-faceted exploration of cross-model alignment, specifically targeting the synchronization between diverse word embedding models and the transfer of knowledge from word to sentence embeddings. Firstly, we dissect the alignment of word embeddings, comparing models such as GloVe and FastText, which are each trained on distinct datasets. By aligning these models, we seek to unify the linguistic information captured separately, thus enriching the representational capacity for downstream tasks. We investigate alignment techniques, specifically unsupervised methods, that can effectively bridge the gap between these models, enabling a harmonized representation of words across different training corpora. Secondly, our research extends to the domain of knowledge transfer between models at different granularity levels—namely, from word embeddings like FastText to sentence-level embeddings such as those generated by sBERT. Here, the challenge lies in preserving the nuanced knowledge of word embeddings while scaling up to sentence-level representations. The goal is to facilitate a seamless transfer that aligns and enhances the sentence embeddings with the rich lexical semantics of word embeddings. The convergence of these two research streams promises to not only align but also to cross-pollinate models, thus contributing to the development of NLP systems with improved cross-lingual and cross-model versatility. This thesis proposes innovative methods for cross-model alignment and sets the stage for future research in creating more coherent, context-aware, and powerful NLP applications.
Benzer Tezler
- TR-MTEB: A comprehensive benchmark and embedding model suite for Turkish sentence representations
TR-MTEB: Türkçe cümle temsilleri için kapsamlı bir değerlendirme seti ve vektörel temsil model paketi
MEHMET SELMAN BAYSAN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNGA GÜNGÖR
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP ÇAKAR KAMAN
- Transformer-based vision-language frameworks: A cross-domain study from video captioning to medical report generation
Transformatör tabanlı görsel-dil çerçeveleri: Video altyazılamadan tıbbi rapor üretimine disiplinlerarası bir çalışma
BENGÜ FETİLER
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN KILIÇ
- Unified approaches to efficient and robust image retrieval through fusion restoration, and compression
Füzyon, sıkıştırma ve restorasyon yoluyla verimli ve dayanıklı görsel getirim için birleşik yaklaşımlar
ENİS TEPER
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF HÜSEYİN ŞAHİN
- Kullanıcı destek sistemlerinde yardım biletlerinin otomatik sınıflandırılması
Automatic classification of help tickets in user support systems
MÜCAHİT ALTINTAŞ
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ