Geri Dön

Cross model alignment in natural language processing

Doğal dil işlemede modeller arası hizalama

  1. Tez No: 851092
  2. Yazar: KADİR GÜNEL
  3. Danışmanlar: PROF. DR. MEHMET FATİH AMASYALI
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Yıldız Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 81

Özet

Doğal Dil İşleme (NLP) alanında, farklı model temsillerinin hizalanması, dil anlama ve işleme kapasitesini artırmanın temel taşlarındandır. Bu çalışma, farklı kelime temsil modelleri arasında senkronizasyon ve kelime temsillerinden cümle temsillerine bilgi aktarımı özelinde çift yönlü bir çapraz model hizalama keşfine çıkmaktadır. Öncelikle, GloVe ve FastText gibi, her biri farklı veri setlerinde eğitilmiş farklı kelime temsil modellerinin hizalanmasını detaylandırıyoruz. Bu modelleri hizalayarak farklı dilleri birleştirmeye çalışıyoruz. Böylelikle farklı görevler için temsil kapasitelerini zenginleştirmeyi hedefliyoruz. Bu modeller arasındaki boşluğu etkili bir şekilde köprüleyebilecek, özellikle denetimsiz(unsupervised) yöntemler başta olmak üzere, farklı hizalama tekniklerini kullaniyoruz. İkinci olarak, araştırmamız bilgi aktarımı alanına uzanıyor. Daha belirgin olarak, cümle temsil kapasitesi yüksek olan bir modelden (sBERT), kelime temsil seviyesi için kullanılan ancak cümle temsil seviyesi daha zayıf olan modele doğru (FastText) bilgi aktraimini, hizalama işlemini de göze alarak, sağlamaya çalışıyoruz. Amacımız, kelime temsillerinin karşı taraftaki zengin cümle semantikleriyle hizalama yöntemiyle sorunsuz bir şekilde bilgi aktarmını sağlamaktır. Bu iki araştırma alanının bir araya gelmesi, sadece farklı modelleri hizalamakla kalmayıp aynı zamanda modeller arası yeni melez modellerin de oluşumunu vaat etmektedir, böylece çok yönlülüğü gelişmiş NLP sistemlerinin gelişimine katkıda bulunmaktadır. Bu tez, çapraz-model hizalama için yenilikçi yöntemler önermekte ve daha tutarlı, bağlam farkındalığı yüksek ve güçlü NLP uygulamaları yaratmak için gelecekteki araştırmaların zeminini hazırlamaktadır.

Özet (Çeviri)

In Natural Language Processing (NLP), the alignment of different model representations is a cornerstone for enhancing language understanding and processing. This study embarks on a dual-faceted exploration of cross-model alignment, specifically targeting the synchronization between diverse word embedding models and the transfer of knowledge from word to sentence embeddings. Firstly, we dissect the alignment of word embeddings, comparing models such as GloVe and FastText, which are each trained on distinct datasets. By aligning these models, we seek to unify the linguistic information captured separately, thus enriching the representational capacity for downstream tasks. We investigate alignment techniques, specifically unsupervised methods, that can effectively bridge the gap between these models, enabling a harmonized representation of words across different training corpora. Secondly, our research extends to the domain of knowledge transfer between models at different granularity levels—namely, from word embeddings like FastText to sentence-level embeddings such as those generated by sBERT. Here, the challenge lies in preserving the nuanced knowledge of word embeddings while scaling up to sentence-level representations. The goal is to facilitate a seamless transfer that aligns and enhances the sentence embeddings with the rich lexical semantics of word embeddings. The convergence of these two research streams promises to not only align but also to cross-pollinate models, thus contributing to the development of NLP systems with improved cross-lingual and cross-model versatility. This thesis proposes innovative methods for cross-model alignment and sets the stage for future research in creating more coherent, context-aware, and powerful NLP applications.

Benzer Tezler

  1. Kullanıcı destek sistemlerinde yardım biletlerinin otomatik sınıflandırılması

    Automatic classification of help tickets in user support systems

    MÜCAHİT ALTINTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ

  2. Motion and energy transfer through coupled micro/nano-scale cantilever beams via mechanical resonance absorption

    Mikro/nano-boyutlu ankastre kirişlerde mekanik rezonans absorpsiyonu yardımıyla hareket ve enerji transferi

    ÜNAL DEĞİRMENCİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ERDAL BULĞAN

  3. Durgun görüntülerden yüz ifadelerinin tanınması

    Facial expression recognition from static images

    BİLGE SÜHEYLA AKKOCA

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUHİTTİN GÖKMEN

  4. 4D printing of body temperature responsive hydrogels with self-healing and shape-memory abilities

    Kendi kendini onarma ve şekil hafıza özelliklerine sahip vücut sıcaklığına duyarlı hidrojellerin dört boyutlu baskısı

    GAMZE AYDIN

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Polimer Bilim ve Teknolojisiİstanbul Teknik Üniversitesi

    Polimer Bilim ve Teknolojisi Ana Bilim Dalı

    PROF. DR. OĞUZ OKAY

    DR. TURDİMUHAMMAD ABDULLAH

  5. Alüminyum 7075 alaşımının akışla şekillendirme ve yaşlandırma işlemi sonrası mikroyapı ve mekanik özelliklerinin incelenmesi

    Investigation of the microstructure and mechanical properties of aluminum 7075 alloy after flowforming and ageing process

    ABDULKERİM KELLECİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Metalurji Mühendisliğiİstanbul Teknik Üniversitesi

    Metalurji ve Malzeme Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT BAYDOĞAN