Improving the performance of quantized transformers with graph neural networks
Nicemlenmiş dönüştürücülerin başarımının grafik sinir ağları ile geliştirilmesi
- Tez No: 944948
- Danışmanlar: DR. ÖĞR. ÜYESİ AYKUT KOÇ, PROF. DR. MEMDUH HALDUN ÖZAKTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Dönüştürücüler, Doğal Dil İşleme (NLP) görevlerinde yerleşik modeller haline gelmiştir. Dönüştürücülerin temsil yetenekleri model boyutuyla doğru orantılı gelişmektedir; ancak, büyük modelleri eğitmek ve barındırmak yoğun bir işlemci kaynağı gerektirmektedir. Artan işlemci maliyeti, karbon ayak izinin yükselmesine yol açmaktadır. Bu durum, modellerin kullanımının yol açacağı çevresel etkilere dair endişeler oluşturmaktadır. Model değişkenlerinin nicemlenmesi, dönüştürücülerin kullanım maliyetinin azaltılması açısından umut vadetmektedir; ancak, düşük-bit temsillere nicemleme genellikle model başarımında önemli bir düşüşe sebep olmaktadır. Nicemlemenin model başarımında sebep olduğu düşüşü, nicemlemenin sağladığı faydaları koruyarak sınırlamak için BitTransGNN modelini sunuyoruz. BitTransGNN, nicemlenmiş dönüştürücüleri Grafik Sinir Ağları (GNN'ler) ile entegre ederek bu modellerin performansını geliştirmeyi amaçlayan özgün bir mimaridir. Dönüştürücüler yerel bağlamsal bilgiyi modellemekte büyük başarı gösterirken, GNN'ler küresel yapısal ilişkileri temsil etme kabiliyetleriyle öne çıkmaktadırlar. BitTransGNN, nicemlenmiş dönüştürücülerin temsil kabiliyetlerini geliştirmek için iki modelin birbirini tamamlayan bu yapılarından faydalanır. Model mimarimizi tanıttıktan sonra, BitTransGNN'in kullanımını indüktif problem koşullarına genişletmek için BitTransGNN'in öğrendiği bilgiyi tekil bir nicemlenmiş dönüştürücü modeline aktaran modeller ortaya koyuyoruz. Kapsamlı deneylerle, BitTransGNN'in, nicemlemenin sunduğu verimlilik avantajlarını koruyarak, nicemlenmiş dönüştürücüler ve onların tam hassasiyetli eşlerinin arasındaki başarım farkını önemli ölçüde azalttığını gösteriyoruz. Transdüktif BitTransGNN modelleri, yalnızca az miktarda ek maliyetle, nicelenmiş dönüştürücü temel modellerden %21 oranına kadar daha iyi başarım göstermektedir. İndüktif BitTransGNN modelleri, ek bir çıkarsama maliyetine yol açmadan, nicemlenmiş dönüştürücü başarımını %19 oranına kadar arttırmaktadır. Maliyet-başarım dengesini değerlendirmek için BitTransGNN ve temel modellerin kullanım maliyetlerini ve başarımlarını inceliyoruz. Dönüştürücü ve GNN'lerin oldukça farklı özelliklere odaklandığı öncülünü doğrulamak için ek analizler yapıyor, farklı BitTransGNN bileşenlerinin önemini inceliyor ve modelin olası limitlerini tartışıyoruz. Bu tezde sunulan sonuçlar ve bulgular, sinir ağlarının verimliliğinin artırılması üzerine yapılan araştırmalara katkıda bulunmakta ve sinir ağı temelli modellerin kullanım maliyetinin, model başarımında önemli kayıplar verilmeden geliştirilmesi üzerine yeni bir bakış açısı sunmaktadır.
Özet (Çeviri)
Transformers have become established models in natural language processing (NLP) tasks. Their representational capabilities improve with size, but training and hosting larger models is computationally demanding. The rise in computational overhead leads to an increase in the carbon footprint, raising concerns about the environmental impacts of using these models. Parameter quantization promises to reduce the utilization costs of transformers; however, low-bit quantization generally leads to a notable loss in model performance. To reduce the degradation in model performance due to quantization while maintaining its associated benefits, we introduce BitTransGNN, a novel framework that improves quantized transformer performance by integrating them with Graph Neural Networks (GNNs). Transformers excel in capturing local contextual semantics, while GNNs are competent in representing global structural relationships within data. BitTransGNN makes use of this complementary nature of the two models to improve the representational capabilities of quantized transformers. After presenting our proposed architecture, to extend the utility of BitTransGNN to inductive settings, we then introduce variants of BitTransGNN that encapsulate the knowledge learned by BitTransGNN within a solitary quantized transformer model. Through an extensive set of experiments, we show that BitTransGNN substantially reduces the performance gap between quantized transformers and their full-precision counterparts while retaining the efficiency advantages provided by quantization. Transductive BitTransGNN variants outperform quantized transformer baselines by up to 21% while introducing minimal additional overhead. Inductive BitTransGNN variants improve quantized transformer performance by up to 19% with zero additional inference costs. To evaluate the cost-performance tradeoff, we inspect the model performance and utilization costs of BitTransGNN and the baseline models. We perform further analyses on BitTransGNN outputs to validate the premise that transformers and GNNs focus on highly distinct features, examine the significance of different BitTransGNN components, and discuss potential limitations. The results and findings presented in this thesis contribute to the research on improving the efficiency of neural networks and offer a new perspective on reducing neural model costs without making important sacrifices from model performance.
Benzer Tezler
- Elektrik iletim sistemi güç transformatörleri için güvenilirlik merkezli donanım yönetimi sürecinin kurulması ve değerlendirilmesi
Reliability centered asset management for power transformers in Turkish national power transmission system
HAVVA AYSUN KÖKSAL
Doktora
Türkçe
2016
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. AYDOĞAN ÖZDEMİR
- Codebook learning: Challenges and applications in image representation learning
Kod kitabı öğrenimi: Görüntü temsili öğrenimindeki zorluklar ve uygulamaları
GÜLÇİN BAYKAL CAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Düşük bir hızlarında konuşma kodlama ve uygulamaları
Low bit rate speech coding and applications
TARIK AŞKIN
Doktora
Türkçe
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. GÜNSEL DURUSOY
- Nicemlenmiş geribeslemeyle uzay-zaman blok kodları hata başarımının arttırılması
Improving the error performance of space-time block codes with quantized feedback
SONER KÖRÜK
Yüksek Lisans
Türkçe
2006
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ.DR. MEHMET ERTUĞRUL ÇELEBİ
- Relaying opportunities for wireless networks by applying network coding
Kablosuz ağlar için ağ kodlamalı aktarma fırsatları
SEMİHA TEDİK BAŞARAN
Doktora
İngilizce
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT