Yapay sinir ağları ile makine çevirisinin detaylı başarım analizi
An in-depth performance analysis of neural machine translation tasks
- Tez No: 619558
- Danışmanlar: PROF. DR. OĞUZ ERGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 70
Özet
Teknoloji çağında yaşıyoruz ve son on yılda Yapay Zeka üzerine en çok çalışılan teknoloji olmuştur. Sayısız alanda uygulaması bulunmakla birlikte, Yapay Sinir Ağları ile Makine Çevirisi (YMÇ) temel araştırma alanlarından birisidir. Google, Facebook, Amazon, Microsoft, Yandex gibi birçok büyük şirket ürünlerinde YMÇ kullanmaktadır ve YMÇ'nin kullanıcılara servis olarak sunulması son zamanlarda benimsenen bir yöntem olmuştur. Bu servislerin, kullanıcı memnuniyeti açısından, hız ve çeviri kalitesi başta olmak üzere bazı kısıtları sağlamaları gerekmektedir. YMÇ modellerini hızlandır- mak konusunda birçok çalışma yapılmıştır, ancak bildiğimiz kadarıyla bu çalışmaların hiçbiri detaylı başarım/zaman analizinde bulunmamıştır. Bu çalışmada en gelişmiş YMÇ modellerinden birisi olan, kodlayıcı-kodçözücü yapısını ilgi mekanizmasıyla birleştiren Dönüştürücü modeli ile çalışılmıştır. Dönüştürücü'nün etrafına bir mikroservis kurulmuş ve sistemin darboğazının modelin kendisi olduğu gösterilmiştir. Bunun üzerine temel yapılandırma parametrelerinin değişimiyle deneyler yapılmış ve bu parametrelerin başarımı hassas bir şekilde etkilediği gözlenmiştir. Bunun üzerine modelin her bir bileşeninin CPU ve GPU'da detaylı zaman dökümü çıkarılmış ve en verimsiz aşamanın ışın araması olduğu gösterilmiştir. Daha sonra ışın aramasının daha iyi anlaşılması adına her bir adımını gösteren zaman dökümü çıkarılmıştır. Ayrıca, ışın boyutunun BLEU skorunu sadece kelime-bazında etkilediği, türce-bazında bir etkisinin olmadığı gözlemlenmiştir. Son olarak kelime-hazinesi büyüklüğünün ışın aramasının başarımında büyük rolü olduğu gösterilmiştir.
Özet (Çeviri)
We live in the technology era and over the last decade Artificial Intelligence (AI) has been the most focused technology. It has applications in countless topics and neural machine translation (NMT) is one of the major research areas. Many big companies like Google, Facebook, Amazon, Microsoft, Yandex deploy NMT in their production systems and NMT services has become popular lately. These services need to provide some constraints, especially speed and translation quality, for user satisfaction. There has been significant amount of work on accelerating NMT models however to the best of our knowledge, there is no detailed research giving a detailed performance analysis of each step in a model. In this work, one of the state-of-the-art models the Transformer is used. It has encoder-decoder architecture with an additional attention mechanism. A microservice is implemented on top of the Transformer model and it is showed that the bottleneck is the model itself. Then, several experiments with different configuration values has been conducted and it is observed that the performance of the model is highly sensitive to the changes in these values. A detailed performance breakdown of the model in CPU and GPU show that beam search is a big source of inefficiency. So a detailed time breakdown of the beam search is obtained in order to have a better understanding. Additionally, it is observed that the beam size only affects BLEU score at word level, and not at token level. Finally, it is showed that the vocabulary size has a major role on the performance of the beam search.
Benzer Tezler
- Hiperspektral görüntülerin eğiticisiz bölütlenmesi
Unsupervised segmentation of hyperspectral images
GÖKHAN BİLGİN
Doktora
Türkçe
2009
Bilim ve TeknolojiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. SARP ERTÜRK
PROF. DR. TÜLAY YILDIRIM
- Adaptive equivalent consumption minimization strategy with driving pattern recognition for hybrid electric vehicles
Hibrit elektrikli araçlar için sürüş tanıma ile uyarlanabilir eşdeğer yakıt tüketimi minimizasyonu stratejisi
BARIŞ KALAYCI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Makine öğrenmesi kullanımıyla ev tipi klimalarda parametre ve enerji verimliliği optimizasyonu
Optimization of parameter and energy efficiency in residential air conditioners using machine learning
EZGİ SEVGİ ÖZDEMİR
Yüksek Lisans
Türkçe
2020
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
PROF. DR. GÜLGÜN KAYAKUTLU
- Türkçe'den İngilizce'ye bilgisayarlı çeviri
Başlık çevirisi yok
AYDIN YILDIZ
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ADEM ÖZYAVAŞ
- Türkçe'de varlık ismi tanıma
Named entity recognition in Turkish
ASIM GÜNEŞ
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ