Doğal dil işlemede dönüştürücü model bileşenlerinin kapsamlı analizi
Comprehensive analysis of transformer model components in natural language processing
- Tez No: 1015490
- Danışmanlar: PROF. DR. RAMAZAN KATIRCI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Sivas Bilim ve Teknoloji Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Transformer mimarisi, tamamen dikkat mekanizmalarına dayalı yapısıyla yinelemeli ve evrişimsel modellere olan gereksinimi ortadan kaldırmış ve ChatGPT gibi gelişmiş dil modellerinin temelini oluşturmuştur. Bununla birlikte, geleneksel derin öğrenme yaklaşımlarına kıyasla çok sayıda bileşen ve katman içermesi, Transformer mimarisini kapsamlı biçimde analiz etmeyi yüksek hesaplama maliyetleri ve uzun eğitim süreleri gerektiren zorlu bir araştırma alanı hâline getirmektedir. Bu zorlukları ele almak amacıyla, bu çalışmada Transformer mimarisi üç farklı aşamada ele alınmıştır. Çalışmanın ilk aşamasında, Transformer mimarisi bütüncül bir bakış açısıyla değerlendirilmiş; bireysel bileşenlerin ve bileşen çiftlerinin model performansı üzerindeki etkileri sistematik biçimde analiz edilmiştir. İkinci aşamada, ilk aşamada belirlenen temel mimari bileşenler kontrol altında tutularak; farklı optimizasyon algoritmalarının performansı, model karmaşıklığı ve veri ölçeği ekseninde daha yüksek bir bakış açısıyla analiz edilmiştir. Çalışmanın son aşamasında ise, çoklu dikkat mekanizması içerisindeki Anahtar (Key) ve Değer (Value) boyutlarının model performansındaki kritik rolüne odaklanılmıştır. Elde edilen sonuçlar, mimari bileşenlerin model performansına katkılarının homojen olmadığını ve bazı bileşenler ile bileşen çiftlerinin diğerlerine kıyasla daha baskın etkilere sahip olduğunu açıkça ortaya koymaktadır. Bu sonuçlar, mimari tasarım ve hiperparametre optimizasyonu süreçlerinde tüm bileşenlerin gerek tek başına gerekse diğer hiperparametrelerle olan etkileşimleri açısından eşit düzeyde etki göstermediğini ortaya koymaktadır. Bazı bileşenlerin ve belirli bileşen etkileşimlerinin, diğerlerine kıyasla model performansı üzerinde daha baskın etkilere sahip olduğu açıkça görülmektedir. Bu bağlamda, baskın etkilerin doğru biçimde belirlenmesi, daha düşük parametre yapılandırmalarıyla yüksek performans elde edilmesini mümkün kılarak hesaplama maliyetleri ve eğitim süresinde önemli tasarruflar sağlamaktadır.
Özet (Çeviri)
The Transformer architecture, based entirely on attention mechanisms, has eliminated the need for recurrent and convolutional models and has formed the foundation of advanced language models such as ChatGPT. Nevertheless, compared to traditional deep learning approaches, the Transformer incorporates a large number of components and layers, which makes comprehensive analysis a challenging research task requiring high computational costs and long training times. To address these challenges, this study considers the Transformer architecture across three distinct stages. In the first stage, the Transformer architecture is addressed from a holistic perspective, and the effects of individual components as well as component pairs on model performance are systematically analyzed. In the second stage, while the core architectural components identified in the initial stage were kept under control, the performance of various optimization algorithms is analyzed with a higher resolution in the context of their interaction with model complexity and dataset scale. In the final stage, the study focuses on the critical role of the Key and Value dimensions within the multi-head attention mechanism. The results demonstrate that the contributions of architectural components to model performance are not homogeneous and that certain components and component pairs exhibit more dominant effects than others. These findings indicate that not all components exert equal influence in architectural design and hyperparameter optimization processes, either individually or through their interactions with other hyperparameters. In this context, accurately identifying the dominant effects enables high performance to be achieved with lower parameter configurations, leading to substantial reductions in both computational cost and training time
Benzer Tezler
- Landsat uydusu aracılığı ile elde edilen görüntülerin sınıflandırılmaları ve bunlara ilişkin bilgisayar programlarının hazırlanması
Başlık çevirisi yok
G. FERZAN KÜÇÜKA
Yüksek Lisans
Türkçe
1985
Ege ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Küçük Yamanlar tepesi örneğinde kent yakın çevresinde rekreasyon alanı düzenleme projesi
Başlık çevirisi yok
NİHAN BULGUN
- Çukurova bölgesinde biyoklimatik veriler kullanılarak açık ve yeşil alan sistemlerinin belirlenmesi ilkeleri üzerinde bir araştırma
A research on the determination of the principles in open and green spaces systems by using the bioclimatic data in Çukurova region
MEHMET FARUK ALTUNKASA
- Input-output modeling for Ankara water supply system
Ankara su temini sistemi için girdi-çıktı modellemesi
MEHMET GÜRSOY
Yüksek Lisans
İngilizce
1987
Orta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Çiğit ve ayçiçek yağlarının doğal antioksidan içerikleri ile bu yağların stabilitelerinin arttırılmaları üzerinde araştırmalar
Başlık çevirisi yok
ALİ KEMAL YALNIZ