Enriching contextual word embeddings with character information
Bağlamsal kelime gömmelerinin karakter bilgisi ile zenginleştirilmesi
- Tez No: 631243
- Danışmanlar: DR. ÖĞR. ÜYESİ SELMA TEKİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 89
Özet
Doğal dil işleme, günümüzdeki yapay zeka gelişmelerinin de yardımıyla popülerlik kazanmıştır. Bu popülerlik sayesinde farklı alt alanlarda yüksek başarımlı çalışmalar yayınlanmaktadır. Bu alt alanlardan birisi de doğal dil işlemenin temel problemlerinden birini ele alan kelimelerin vektörel gösterimi alanıdır. Kelimelerin sözdizimi ve anlamsal bilgilerini ihtiva etmesi amacıyla vektörel gösterim kullanılmaktadır. Yakın zamanda yayınlanan BERT modeli ile kelime vektörleri bağlamsal olarak yüksek bir başarım ile gösterilebilmektedir. Öte yandan bu model sözdizimi kurallarını gözlemleyecek karakter seviyesinde bir yapı içermediğinden, Türkçe gibi morfolojik olarak zengin dillerde istenen sonuçları veremeyebilmektedir. Bu çalışmada, BERT modelinin karakter seviyesinde de bilgi işleyebilmesini sağlamak amacıyla, BERT-ELMo modeli önerilmiştir. Bu yeni önerilen modelde, ELMo modelinin karakter seviyesinde işlem yapabilen modülü ile BERT modelinin bağlamsal kelime vektörü üreten modülü birleştirilmiştir. BERT-ELMo modeli hem nicel and nitel analizler ile incelenmiş ve BERT modeli ile Türkçe dili üzerinden karşılaştırılmıştır. Karakter seviyesindeki ekleme sebebiyle, önerilen model herhangi bir dilde herhangi bir ön çalışma yapılmaksızın çalıştırılabilir. Bilinen kadarıyla, bu çalışma Türkçe morfolojik analizi ile BERT modelini eğiten ve BERT modeline karakter seviyesinde bir modül eklemeyi deneyen ilk çalışmadır.
Özet (Çeviri)
Natural Language Processing has become more and more popular with the recent advances in Artificial Intelligence. Fundamental improvements have been introduced in word representations to store semantic and/or syntactic features. With the recently published language model BERT, contextual word vectors could be generated. This model do not process character level information. In morphologically rich languages such as Turkish, this model's perception of syntax could be improved. In this thesis, a new model, called BERT-ELMo, which is a combination of BERT and ELMo, is proposed to enrich BERT with character level information. This model combines character level processing part of ELMo and contextual word representation part of the BERT model. To show the effectiveness of the proposed model, both quantitative (question answering) and qualitative (word analogy, word contextualization, morphological meaning, out of vocabulary word capturing) analyses are performed and it is compared with BERT on Turkish language. Thanks to character level addition, proposed model is able get trained in any language without any pre-analysis.To the best of our knowledge, this is the first study which uses morphological analysis to train the BERT model in Turkish, and the first model to integrate a character level module to BERT.
Benzer Tezler
- Antepli Aynî Divanı'nın bağlamsal dizini ve işlevsel sözlüğü
Contextual index and functional dictionary of the Divan of Antepli Aynî
MUSTAFA AKAY
Doktora
Türkçe
2023
Türk Dili ve EdebiyatıGaziantep ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. HALİL İBRAHİM YAKAR
- From words to sentences: Advancing Turkish emotion analysis through emotion enrichment
Kelimelerden cümlelere: Duygu zenginleştirme ile Türkçe duygu analizini geliştirme
HANDE AKA UYMAZ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Ekonomi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENEM KUMOVA METİN
- Une analyse structurale du film Angel-A de Luc Besson
Luc Besson'un Angel-A filminin yapısalcı çözümlemesi
ZEYNEP BÜŞRA BÖLÜKBAŞI
Yüksek Lisans
Fransızca
2013
DilbilimGalatasaray ÜniversitesiFransız Dili ve Edebiyatı Ana Bilim Dalı
YRD. DOÇ. DR. ATİLLA DEMİRCİOĞLU
- Alan yönetim planı ve kentsel tasarım etkileşiminde yeni bir süreç önerisi: Priene antik kent örneği
A new process proposal for the interaction between site management plan and urban design: The case of Priene ancient city
FATMA ÇAĞLA ŞEVİK
Yüksek Lisans
Türkçe
2022
Şehircilik ve Bölge PlanlamaMimar Sinan Güzel Sanatlar ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MELİH BİRİK
DOÇ. DR. YAŞAR DİLEK ERBEY
- Behişti Ahmed Sinan İskendernamesi'nin bağlamlı dizin ve işlevsel sözlüğü
Contextual index and functional dictionary of bBehisti Ahmed Sinan's Iskendername
MUSTAFA YİĞİT
Doktora
Türkçe
2023
Türk Dili ve EdebiyatıEskişehir Osmangazi ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
DOÇ. DR. TUBA ONAT ÇAKIROĞLU