Geri Dön

Derin öğrenme algoritmalarında kullanılan optimizasyon yöntemlerinin kesirli analiz yaklaşımı ile ele alınması

Investigation of optimization methods in deep learning algorithms with fractional calculus approach

  1. Tez No: 830360
  2. Yazar: EMRE CABI
  3. Danışmanlar: DOÇ. DR. HÜSEYİN ŞİRİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Fizik ve Fizik Mühendisliği, Physics and Physics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Fizik Ana Bilim Dalı
  12. Bilim Dalı: Matematiksel Fizik Bilim Dalı
  13. Sayfa Sayısı: 63

Özet

Yapay zekâ; yüksek enerji fiziği, görüntüleme bilimi ve genomik çalışmalar gibi çeşitli disiplinlerde büyük bir öneme sahiptir. Temel olarak yapay zekâ, birden çok işleme katmanından oluşan hesaplama modellerinin, birden çok soyutlama düzeyi ile verilerin temsillerini öğrenmesine olanak tanır. Yapay zekâ uygulamalarının çoğu, tam sayı mertebeden türevleri temel alan optimizasyon problemlerini çözerek modellerin eğitimini gerçekleştirir. Birçok fiziksel sistem, tam sayı mertebeden türevler yerine kesirli türev formülasyonu kullanılarak daha açık bir şekilde tanımlanabilmektedir. Buna göre, belli fonksiyonellerin minimize edilmesi ile bu formülasyonların elde edilebileceği düşünülebilir. Bu fonksiyoneller doğal olarak, kesirli türev terimlerini ve bu fonksiyonelleri minimize etmek için ihtiyaç duyulan matematiksel araçları içermektedir. Bu çalışmada yapay zekâ alanındaki yapay sinir ağları çalışmalarında kullanılan tam sayı mertebeden türevlerin yerine kesirli mertebeden türevlerin kullanılarak tahminleme sonuçlarının nasıl değişebileceğinin gözlemlenmesi fikrinden yola çıkılarak, sinir ağlarında kullanılan 3 farklı gizli katman sayısına göre tahmin sonuçlarındaki hata oranları ve eğitim devir sayıları (epoch) kıyaslanmaya çalışılmıştır. Bu amaçla kullanılmak üzere Avrupa Nükleer Araştırma Merkezi (CERN) tarafından sunulan“Events with two electrons from 2010”veri kümesi tercih edilmiş ve elektron kütlelerinin tahminlenmesi ile sonuçlar elde edilmiştir. Sinir ağının geri yayılım algoritmasındaki gradyan azaltma yönteminde, negatif işaretli olabilecek ağırlık değerlerinin hesaplanan kesirli mertebe türevlerinin sonucunda karmaşık sayı elde edilebilmektedir. Bu zorluğun önüne geçebilmek için iki farklı yöntem kullanılmıştır. Birisi oluşan sanal kısmın atılması ve diğeri ağırlık değerlerinin negatif işaretlerinin kaldırılmasıdır.

Özet (Çeviri)

Artificial intelligence; It is of great importance in various disciplines such as high energy physics, imaging science and genomic studies. Basically, AI allows computational models consisting of multiple processing layers to learn representations of data with multiple levels of abstraction. Most AI applications train models by solving optimization problems based on integer order derivatives. Many physical systems can be described more clearly using fractional derivative formulations rather than integer derivatives. Accordingly, it is conceivable that these formulations can be obtained by minimizing certain functionals. These functionals naturally include fractional derivative terms and the mathematical tools needed to minimize these functionals. In this study, starting from the idea of observing how the estimation results can change by using fractional derivatives instead of integer derivatives used in artificial neural networks studies in the field of artificial intelligence, the error rates and epochs in the estimation results according to the 3 different hidden layers used in neural networks were tried to be compared. For this purpose,“Events with two electrons from 2010”dataset presented by the European Organization for Nuclear Research (CERN) was preferred and the results were obtained by estimating the electron masses. In the gradient reduction method in the back propagation algorithm of the neural network, complex numbers can be obtained as a result of the calculated fractional order derivatives of the weight values that can be negative. Two different methods were used to overcome this difficulty. One is to discard the formed imaginary part and the other is to remove the negative signs of the weight values.

Benzer Tezler

  1. Long-horizon value gradient methods on Stiefel manifold

    Stiefel manifoldu üzerinde uzun ufuklu değer gradyanı yöntemleri

    TOLGA OK

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NAZIM KEMAL ÜRE

  2. Satellite images super resolution using generative adversarial networks

    Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük

    MARYAM SERDAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. AHMET HAMDİ KAYRAN

  3. Geometric reinforcement learning for robotic manipulation

    Robotik manipulasyon için geometrik takviyeli öğrenme

    NASEEM ALHOUSANI

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    DR. ÖĞR. ÜYESİ FARES J. ABU-DAKKA

  4. Crew recovery optimization through disruption analysis and deep learning driven column generation

    Aksaklık analizi ve derin öğrenme tabanlı sütun oluşturma ile ekip kurtarma optimizasyonu

    AHMET HEREKOĞLU

    Doktora

    İngilizce

    İngilizce

    2024

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. ÖZGÜR KABAK

  5. New edge computing offloading methods for next generation wireless networks

    Yeni nesil haberleşme sistemleri için geliştirilen kenar ağlarda bilgi işlem yük boşaltma yöntemleri

    BESTE ATAN

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. LÜTFİYE DURAK ATA