Geri Dön

Discovering specific semantic relations among words using neural network methods

Yapay sinir ağı yöntemleri ile sözcükler arası özel anlamsal ilişkilerin keşfedilmesi

PDF İndir

  1. Tez No: 631095
  2. Yazar: ERHAN SEZERER
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SELMA TEKİR
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 109

Özet

Doğal dillerin anlaşılması, bilgisayar bilimlerinin en eski problemlerinden biridir. O günlerden bu yana, birçok çalışma dillerdeki anlamsal birimlerin (kelime, hece ve harf) temsiline adanmıştır. Yakın zamanda, BERT ve türevleri gibi bağlamsal dil modelleri, maskelenmiş dil modelleme ve transformer yapıları kullanarak büyük başarılar göstermiştir. Bu metodlar, alandaki birçok problemi çözmesine ve kullanışlılığını kanıtlamasına rağmen dil öğreniminde önemli bir rolü olan deneyimsel (görsel) bilgiyi dikkate almamaktadır. Son birkaç yılda deneyimsel bilgiyi göz önünde bulunduran çok-kipli dil modelleri ve temsilleri üzerine olan çalışmalarda artış vardır. Birkaç çalışmanın gösterdiği üzere, dil öğrenimi insanlarda imgelerden somut kavramları öğrenerek başlar ve yazım yoluyla soyut kavramları öğrenerek devam eder. Bu çalışmada, somut kavramları imgeden öğrenen ve soyut kavramları yazımdan öğrenen, izlence öğrenimi yöntemini kullanan bir çok-kipli dil modeli/temsili önerilmiştir. Yazım ve imge kipleri için sırasıyla BERT ve Resnet-152 modelleri, dikkat havuzlaması yöntemiyle biraraya getirilerek, yeni oluşturulmuş Wikimedia Commons veri kümesi üzerinde kullanılmıştır. Önerilen metodun başarımı doğal dil işleme görevleri üzerinde ve ablasyon çalışması ile sınanmıştır. Bu çalışmanın katkısı iki yönlüdür: Wikimedia Commons kullanılarak yeni bir veri kümesi oluşturulmuş ve izlence öğrenimine dayanan yeni bir çok-kipli ön-eğitim yaklaşımı önerilmiştir. Elde edilen sonuçlar bu çok-kipli ön-eğitim yönteminin modelin başarımını artırdığını göstermektedir.

Özet (Çeviri)

Human-level language understanding is one of the oldest challenges in computer science. Many scientific work has been dedicated to finding good representations for semantic units (words, morphemes, characters) in languages. Recently, contextual language models, such as BERT and its variants, showed great success in downstream natural language processing tasks with the use of masked language modelling and transformer structures. Although these methods solve many problems in this domain and are proved to be useful, they still lack one crucial aspect of the language acquisition in humans: Experiential (visual) information. Over the last few years, there has been an increase in the studies that consider experiential information by building multi-modal language models and representations. It is shown by several studies that language acquisition in humans start with learning concrete concepts through images and then continue with learning abstract ideas through text. In this work, the curriculum learning method is used to teach the model concrete/abstract concepts through the use of images and corresponding captions to accomplish the task of multi-modal language modeling/representation. BERT and Resnet-152 model is used on each modality with attentive pooling mechanism on the newly constructed dataset, collected from the Wikimedia Commons. To show the performance of the proposed model, downstream tasks and ablation studies are performed. Contribution of this work is two-fold: a new dataset is constructed from Wikimedia Commons and a new multi-modal pre-training approach that is based on curriculum learning is proposed. Results show that the proposed multi-modal pre-training approach increases the success of the model.

Benzer Tezler

  1. Tez No

    21863

    Yapay Zeka'nın robot görmesi üzerine uygulanması

    An Application of robot vision in artificial intelligence

    FUNDA PEHLİVAN

    Yüksek Lisans

    Türkçe

    Türkçe

    1992

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    PROF. DR. TALHA DİNİBÜTÜN

  2. Tez No

    403458

    Paraphrase identification using knowledge-lean techniques

    Başlık çevirisi yok

    ASLI EYECİOĞLU ÖZMUTLU

    Doktora

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversity of Sussex

    Dr. BILL KELLER

  3. Tez No

    375049

    Le nouveau roman: claude simon et william faulkner

    Yeni roman: claude simon ve william faulkner

    REMZİYE NUR ŞENYÜZ

    Yüksek Lisans

    Fransızca

    Fransızca

    2014

    Fransız Dili ve EdebiyatıGalatasaray Üniversitesi

    Fransız Dili ve Edebiyatı Ana Bilim Dalı

    YRD. DOÇ. DR. SIDIKA SEZA YILANCIOĞLU

  4. Tez No

    570646

    Tabakâtü'l-fukahâ bi'tibâri merâtibihimi'l-ilmiyye fi'l-mezâhibi'l-erbaa

    Dört mezhepte fukahanın bilgi yönünden tasnifi

    NİHAT TEMEL

    Yüksek Lisans

    Arapça

    Arapça

    2019

    DinYalova Üniversitesi

    Temel İslam Bilimleri Ana Bilim Dalı

    PROF. DR. MUHARREM ÖNDER

  5. Tez No

    421054

    miRNA analysis in molecular pathogenesis of MODY

    MODY'nin moleküler patogenezinde miRNA analizi

    OĞUZHAN FATİH BALTACI

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Biyolojiİstanbul Teknik Üniversitesi

    Moleküler Biyoloji-Genetik ve Biyoteknoloji Ana Bilim Dalı

    PROF. DR. ARZU KARABAY KORKMAZ

    DOÇ. DR. ERGÜL BERBER

Geri Dön