Geri Dön

Designing alternatives to the attention mechanism intransformer architecture

Transformatör mimarisinde dikkat mekanizmasına alternatifler tasarlama

PDF İndir

  1. Tez No: 1010538
  2. Yazar: ABDULLAH NAZHAT ABDULLAH ABDULLAH
  3. Danışmanlar: DR. ÖĞR. ÜYESİ TARKAN AYDIN
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Transformato¨r mimarisinin ortaya çıkışı, doğal dil işleme (NLP) alanında birçok ilerlemeyi işaret etmiş ve bu ilerlemelerin zirvesini büyük dil modelleri (LLM) temsil etmiştir. Buna ek olarak, transformato¨r mimarisi, görüntü işleme görevlerini geliştiren ve son zamanlarda çok görevli ve çok modlu derin öğrenme mimarilerinin ortaya çıkmasına yol açan bilgisayar görüşü (CV) araştırmacıları ve uygulayıcıları tarafından da kullanılmıştır. Tipik transformato¨r mimarisinin bir dezavantajı, tasarımında ölçeklendirilmiş nokta çarpımı dikkat mekanizmasına dayanmasıdır; bu da yüksek hesaplama ve bellek gereksinimlerine yol açmakta ve bu tür tasarımların kullanımını sınırlamaktadır. Bu tez, tipik transformato¨r mimarisine entegre edilmiş dikkat mekanizmasına alternatif ve ikame olarak önerilen birden fazla mekanizmanın tasarımını araştırmaktadır. Bu çalışmada yapılan eşitlenmiş deneysel değerlendirmeler, hesaplama karmaşıklığında hedeflenen azalmalara sahip önerilen değişikliklerin, seçilen temel mimarilere kıyasla rekabetçi performans sunduğunu göstermektedir. Elde edilen sonuçlar, bu tezin amaçlarını önemli ölçüde desteklemekte olup, geleneksel uygulamaların yerini alabilecek uygun yeteneklere ve düşük gereksinimlere sahip transformatör mimarilerinin uygulanmasına olanak sağlamakta ve transformatör mimarilerinin tasarımında temel bileşen olarak geleneksel hesaplama bloklarına verimli ancak yetenekli alternatifler oluşturmaktadır.

Özet (Çeviri)

The emergence of the transformer architecture signified many advances in natural language processing (NLP), and the pinnacle of these advances is represented by large language models (LLM). In addition, the transformer architecture has been employed by computer vision (CV) researchers and practitioners advancing image processing tasks and leading to the recent introduction of multi-task and multi-modal deep learning architectures. One drawback of the typical transformer architecture is its reliance on the scaled dot product attention mechanism in its design, resulting in high requirements for computation and memory and limiting the deployment of such designs. This thesis investigates designing multiple proposed mechanisms as alternatives and substitutes to the attention mechanism incorporated in the typical transformer architecture. The equalized experimental assessments conducted in this work show that the proposed modifications with the targeted reductions in computational complexity offer competitive performance compared to the selected baseline architectures. The results are significantly in support of the aims of this thesis, allowing for implementing transformer architectures of suitable capability as well as low requirements to substitute the traditional implementations, establishing efficient but capable alternatives to the traditional computational blocks as the core component in the design of transformer architectures.

Benzer Tezler

  1. Tez No

    697668

    Potentialities for and limits to inclusion by education: The case of Syrian children's education in Turkey and child labour

    Eğitim tarafından içermede potansiyeller ve limitler: Türkiye'deki Suriyeli çocukların eğitimi ve çocuk işçiliği

    YASEMİN KIZILOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Sosyal HizmetOrta Doğu Teknik Üniversitesi

    Sosyal Politika Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MEHMET OKYAYUZ

  2. Tez No

    914959

    Sıcak nemli iklim bölgelerinde hacim ölçeğinde doğal havalandırma etkinliğinin değerlendirilmesi

    An evaluation of natural ventilation effectiveness at the space scale in hot humid climate regions

    HANDE ACARI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. GÜLTEN MANİOĞLU

  3. Tez No

    512134

    Türkiye'de enerji verimliliği yükümlülükleri sisteminin yapılandırılması analizi

    Configuration analysis of energy efficiency obligation scheme in Turkey

    RABİA CİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Enerjiİstanbul Teknik Üniversitesi

    Enerji Bilimi ve Teknolojileri Ana Bilim Dalı

    PROF. DR. SERMİN ONAYGİL

  4. Tez No

    584181

    Energy based evaluation of rc frame structures

    Betonarme çerçeveli yapıların enerji esaslı değerlendirmesi

    MAHYAR AZIZI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Deprem MühendisliğiOrta Doğu Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT ALTUĞ ERBERİK

  5. Tez No

    421291

    Sıcak-kuru iklim bölgelerinde bina kabuğu ısıl performansının yaz konfor koşulları açısından değerlendirilmesine yönelik bir çalışma

    A study for thermal performance evaluation of building envelope in terms of summer comfort conditions in hot-dry climate

    MELİS EKİZCE CAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    YRD. DOÇ. DR. GÜLTEN MANİOĞLU

Geri Dön