Doğal dil işlemede dönüştürücü model bileşenlerinin kapsamlı analizi
Comprehensive analysis of transformer model components in natural language processing
- Tez No: 1015490
- Danışmanlar: PROF. DR. RAMAZAN KATIRCI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Sivas Bilim ve Teknoloji Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Transformer mimarisi, tamamen dikkat mekanizmalarına dayalı yapısıyla yinelemeli ve evrişimsel modellere olan gereksinimi ortadan kaldırmış ve ChatGPT gibi gelişmiş dil modellerinin temelini oluşturmuştur. Bununla birlikte, geleneksel derin öğrenme yaklaşımlarına kıyasla çok sayıda bileşen ve katman içermesi, Transformer mimarisini kapsamlı biçimde analiz etmeyi yüksek hesaplama maliyetleri ve uzun eğitim süreleri gerektiren zorlu bir araştırma alanı hâline getirmektedir. Bu zorlukları ele almak amacıyla, bu çalışmada Transformer mimarisi üç farklı aşamada ele alınmıştır. Çalışmanın ilk aşamasında, Transformer mimarisi bütüncül bir bakış açısıyla değerlendirilmiş; bireysel bileşenlerin ve bileşen çiftlerinin model performansı üzerindeki etkileri sistematik biçimde analiz edilmiştir. İkinci aşamada, ilk aşamada belirlenen temel mimari bileşenler kontrol altında tutularak; farklı optimizasyon algoritmalarının performansı, model karmaşıklığı ve veri ölçeği ekseninde daha yüksek bir bakış açısıyla analiz edilmiştir. Çalışmanın son aşamasında ise, çoklu dikkat mekanizması içerisindeki Anahtar (Key) ve Değer (Value) boyutlarının model performansındaki kritik rolüne odaklanılmıştır. Elde edilen sonuçlar, mimari bileşenlerin model performansına katkılarının homojen olmadığını ve bazı bileşenler ile bileşen çiftlerinin diğerlerine kıyasla daha baskın etkilere sahip olduğunu açıkça ortaya koymaktadır. Bu sonuçlar, mimari tasarım ve hiperparametre optimizasyonu süreçlerinde tüm bileşenlerin gerek tek başına gerekse diğer hiperparametrelerle olan etkileşimleri açısından eşit düzeyde etki göstermediğini ortaya koymaktadır. Bazı bileşenlerin ve belirli bileşen etkileşimlerinin, diğerlerine kıyasla model performansı üzerinde daha baskın etkilere sahip olduğu açıkça görülmektedir. Bu bağlamda, baskın etkilerin doğru biçimde belirlenmesi, daha düşük parametre yapılandırmalarıyla yüksek performans elde edilmesini mümkün kılarak hesaplama maliyetleri ve eğitim süresinde önemli tasarruflar sağlamaktadır.
Özet (Çeviri)
The Transformer architecture, based entirely on attention mechanisms, has eliminated the need for recurrent and convolutional models and has formed the foundation of advanced language models such as ChatGPT. Nevertheless, compared to traditional deep learning approaches, the Transformer incorporates a large number of components and layers, which makes comprehensive analysis a challenging research task requiring high computational costs and long training times. To address these challenges, this study considers the Transformer architecture across three distinct stages. In the first stage, the Transformer architecture is addressed from a holistic perspective, and the effects of individual components as well as component pairs on model performance are systematically analyzed. In the second stage, while the core architectural components identified in the initial stage were kept under control, the performance of various optimization algorithms is analyzed with a higher resolution in the context of their interaction with model complexity and dataset scale. In the final stage, the study focuses on the critical role of the Key and Value dimensions within the multi-head attention mechanism. The results demonstrate that the contributions of architectural components to model performance are not homogeneous and that certain components and component pairs exhibit more dominant effects than others. These findings indicate that not all components exert equal influence in architectural design and hyperparameter optimization processes, either individually or through their interactions with other hyperparameters. In this context, accurately identifying the dominant effects enables high performance to be achieved with lower parameter configurations, leading to substantial reductions in both computational cost and training time
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Efficient estimation of Shrinkage parameters in fuzzy Ridge and fuzzy Liu regression models using α-cut-based methods under multicollinearity
Çoklu bağıntı durumunda bulanık Ridge ve bulanık Liu regresyon modellerinde α-kesim tabanlı yöntemler kullanılarak Shrinkage parametrelerinin etkin tahmini
AMMAR HOMAIDA
- Artificial intelligence powered restaurant ordering system
Yapay zeka destekli restoran sipariş sistemi
CARLEWIS CHAMBANG AKANA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPER FİDAN
- Web 3.0 teknolojileri i̇le sosyal medya veri anlamlandirmasina yönelik bir model geliştirme
Developing a model for social media data semantics with web 3.0 technologies
VALA GASHI ADIGÜZELLİ
Doktora
Türkçe
2024
Bilim ve Teknolojiİstanbul ÜniversitesiFen Bilimleri Ana Bilim Dalı
PROF. DR. SEVİNÇ GÜLSEÇEN
- Dönüştürücü tabanlı çekişmeli üretici ağlar ile yüz ifadelerindeki değişimin analizi
Analysis of change in facial expressions with transformer-based generative adversarial networks
NARMIN YAGUBBAYLI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERT BAL