Multimodal Machine Translation
Başlık çevirisi mevcut değil.
- Tez No: 622480
- Danışmanlar: PROF. DR. DANIŞMAN YOK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Le Mans Universite
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 141
Özet
Machine translation aims at automatically translating documents from one language to another without human intervention. With the advent of deep neural networks (DNN), neural approaches to machine translation started to dominate the eld, reaching stateof- the-art performance in many languages. Neural machine translation (NMT) also revived the interest in interlingual machine translation due to how it naturally ts the task into an encoder-decoder framework which produces a translation by decoding a latent source representation. Combined with the architectural exibility of DNNs, this framework paved the way for further research in multimodality with the objective of augmenting the latent representations with other modalities such as vision or speech, for example. is thesis focuses on a multimodal machine translation (MMT) framework that integrates a secondary visual modality to achieve beer and visually grounded language understanding. I specically worked with a dataset containing images and their translated descriptions, where visual context can be useful for word sense disambiguation, missing word imputation, or gender marking when translating from a language with gender-neutral nouns to one with grammatical gender system as is the case with English to French. I propose two main approaches to integrate the visual modality: (i) a multimodal aention mechanism that learns to take into account both sentence and convolutional visual representations, (ii) a method that uses global visual feature vectors to prime the sentence encoders and the decoders. rough automatic and human evaluation conducted on multiple language pairs, the proposed approaches were demonstrated to be benecial. Finally, I further show that by systematically removing certain linguistic information from the input sentences, the true strength of both methods emerges as they successfully impute missing nouns, colors and can even translate when parts of the source sentences are completely removed.
Özet (Çeviri)
Özet çevirisi mevcut değil.
Benzer Tezler
- Learning visually-grounded representationsusing cross-lingual multimodal pre-training
Çok dilli çok kipli ön öğrenme ile görsel tabanlı temsillerin öğrenilmesi
MENEKŞE KUYU
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ERKUT ERDEM
- Derin öğrenmeden büyük dil modellerine: Soru cevaplama sistemleri için yenilikçi çözümler
From deep learning to large language models: Novel solutions for question answering systems
GÜLSÜM YİĞİT
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET FATİH AMASYALI
- Semi-automatic multimodal web content retargeting system
Yarı-otomatik çok-kipli internet içeriği çeviri sistemi
CANSU ŞEN
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. TEVFİK METİN SEZGİN
- Deep learning-based and cost-aware fraud detection system using multi-modal profiling approach to detect fraud attempts in airline ticket sales
Havayolu bilet satış işlemleri için derin öğrenme tabanlı maliyet bilinçli ve çok modlu profilleme yaklaşımını benimseyen sahtekarlık tespit sistemi
MEHMED TAHA ARAS
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET AMAÇ GÜVENSAN
- Multimodal machine comprehension of how-to instructions with images and text
Görüntü ve metin içeren çok kipli nasıl yapılır talimatlarının makine ile kavranması
SEMİH YAĞCIOĞLU
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ERKUT ERDEM
DOÇ. DR. İBRAHİM AYKUT ERDEM