Derin öğrenme algoritmalarında kullanılan optimizasyon yöntemlerinin kesirli analiz yaklaşımı ile ele alınması
Investigation of optimization methods in deep learning algorithms with fractional calculus approach
- Tez No: 830360
- Danışmanlar: DOÇ. DR. HÜSEYİN ŞİRİN
- Tez Türü: Yüksek Lisans
- Konular: Fizik ve Fizik Mühendisliği, Physics and Physics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Fizik Ana Bilim Dalı
- Bilim Dalı: Matematiksel Fizik Bilim Dalı
- Sayfa Sayısı: 63
Özet
Yapay zekâ; yüksek enerji fiziği, görüntüleme bilimi ve genomik çalışmalar gibi çeşitli disiplinlerde büyük bir öneme sahiptir. Temel olarak yapay zekâ, birden çok işleme katmanından oluşan hesaplama modellerinin, birden çok soyutlama düzeyi ile verilerin temsillerini öğrenmesine olanak tanır. Yapay zekâ uygulamalarının çoğu, tam sayı mertebeden türevleri temel alan optimizasyon problemlerini çözerek modellerin eğitimini gerçekleştirir. Birçok fiziksel sistem, tam sayı mertebeden türevler yerine kesirli türev formülasyonu kullanılarak daha açık bir şekilde tanımlanabilmektedir. Buna göre, belli fonksiyonellerin minimize edilmesi ile bu formülasyonların elde edilebileceği düşünülebilir. Bu fonksiyoneller doğal olarak, kesirli türev terimlerini ve bu fonksiyonelleri minimize etmek için ihtiyaç duyulan matematiksel araçları içermektedir. Bu çalışmada yapay zekâ alanındaki yapay sinir ağları çalışmalarında kullanılan tam sayı mertebeden türevlerin yerine kesirli mertebeden türevlerin kullanılarak tahminleme sonuçlarının nasıl değişebileceğinin gözlemlenmesi fikrinden yola çıkılarak, sinir ağlarında kullanılan 3 farklı gizli katman sayısına göre tahmin sonuçlarındaki hata oranları ve eğitim devir sayıları (epoch) kıyaslanmaya çalışılmıştır. Bu amaçla kullanılmak üzere Avrupa Nükleer Araştırma Merkezi (CERN) tarafından sunulan“Events with two electrons from 2010”veri kümesi tercih edilmiş ve elektron kütlelerinin tahminlenmesi ile sonuçlar elde edilmiştir. Sinir ağının geri yayılım algoritmasındaki gradyan azaltma yönteminde, negatif işaretli olabilecek ağırlık değerlerinin hesaplanan kesirli mertebe türevlerinin sonucunda karmaşık sayı elde edilebilmektedir. Bu zorluğun önüne geçebilmek için iki farklı yöntem kullanılmıştır. Birisi oluşan sanal kısmın atılması ve diğeri ağırlık değerlerinin negatif işaretlerinin kaldırılmasıdır.
Özet (Çeviri)
Artificial intelligence; It is of great importance in various disciplines such as high energy physics, imaging science and genomic studies. Basically, AI allows computational models consisting of multiple processing layers to learn representations of data with multiple levels of abstraction. Most AI applications train models by solving optimization problems based on integer order derivatives. Many physical systems can be described more clearly using fractional derivative formulations rather than integer derivatives. Accordingly, it is conceivable that these formulations can be obtained by minimizing certain functionals. These functionals naturally include fractional derivative terms and the mathematical tools needed to minimize these functionals. In this study, starting from the idea of observing how the estimation results can change by using fractional derivatives instead of integer derivatives used in artificial neural networks studies in the field of artificial intelligence, the error rates and epochs in the estimation results according to the 3 different hidden layers used in neural networks were tried to be compared. For this purpose,“Events with two electrons from 2010”dataset presented by the European Organization for Nuclear Research (CERN) was preferred and the results were obtained by estimating the electron masses. In the gradient reduction method in the back propagation algorithm of the neural network, complex numbers can be obtained as a result of the calculated fractional order derivatives of the weight values that can be negative. Two different methods were used to overcome this difficulty. One is to discard the formed imaginary part and the other is to remove the negative signs of the weight values.
Benzer Tezler
- Long-horizon value gradient methods on Stiefel manifold
Stiefel manifoldu üzerinde uzun ufuklu değer gradyanı yöntemleri
TOLGA OK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Satellite images super resolution using generative adversarial networks
Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük
MARYAM SERDAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Geometric reinforcement learning for robotic manipulation
Robotik manipulasyon için geometrik takviyeli öğrenme
NASEEM ALHOUSANI
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
DR. ÖĞR. ÜYESİ FARES J. ABU-DAKKA
- Crew recovery optimization through disruption analysis and deep learning driven column generation
Aksaklık analizi ve derin öğrenme tabanlı sütun oluşturma ile ekip kurtarma optimizasyonu
AHMET HEREKOĞLU
Doktora
İngilizce
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. ÖZGÜR KABAK
- New edge computing offloading methods for next generation wireless networks
Yeni nesil haberleşme sistemleri için geliştirilen kenar ağlarda bilgi işlem yük boşaltma yöntemleri
BESTE ATAN
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA