Normalized least mean square based optimization algorithms for deep learning and their applications
Derin öğrenme için normalize edilmiş en küçük kareler tabanlı optimizasyon algoritmaları ve uygulamalerı
- Tez No: 966327
- Danışmanlar: PROF. DR. ÖMER MORGÜL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 128
Özet
Uyarlanabilir filtreler, istenen çıktıyı elde etmek amacıyla parametrelerini bir optimizasyon algoritması aracılığıyla çevrim içi (online) olarak ayarlayan öğrenme sistemleridir. Bu filtreler, gürültü giderme, yankı bastırma, kanal dengeleme ve sistem tanımlama gibi sinyal işleme uygulamalarında yaygın olarak kullanılmaktadır. Uyarlanabilir filtrelerin parametrelerini ayarlamak için kullanılan algoritmalardan biri En Küçük Ortalama Kareler (Least Mean Square - LMS) algoritmasıdır; bu algoritma, maliyet fonksiyonunun ortalama kare hatasını en aza indirmeyi hedefler. Normalize Edilmiş En Küçük Ortalama Kareler (Normalized Least Mean Square - NLMS) algoritması ise LMS'in geliştirilmiş bir versiyonudur ve öğrenme oranını giriş vektörünün gücüne göre ölçekleyerek kararlılığı ve yakınsama hızını artırmayı amaçlar. Uyarlanabilir filtreler, birçok öğrenme sisteminin temelini oluşturur ve günümüz makine öğrenmesinde yaygın olarak kullanılan gradyan temelli öğrenme kurallarına benzer güncelleme kurallarına sahiptir. Giriş Normalizasyonlu Stokastik Gradyan İnişi (Input Normalized Stochastic Gradient Descent - INSGD) optimizasyon algoritması, Stokastik Gradyan İnişi (SGD) algoritmasının yeni bir türevi olarak yakın zamanda tanıtılmıştır ve NLMS algoritmasındaki giriş normalizasyonu yaklaşımını kullanarak yakınsama davranışını iyileştirmeyi hedefler. Yakınsama sorununun yanı sıra, derin öğrenme optimizasyonu doğruluk, kararlılık, uyarlanabilirlik, gradyanların yok olması ve hiperparametre ayarlarına hassasiyet gibi birçok sorun içerir. Literatürde, bu tür sorunları ya da belirli amaçları ele almak üzere farklı yaklaşımlar benimseyen çok sayıda optimizasyon algoritması önerilmiştir. Bu tez, mevcut literatüre bir katkı olarak, INSGD algoritmasının uygulama alanını dil işleme görevlerine genişletmektedir. Özellikle, INSGD algoritması, Genel Dil Anlayışı Değerlendirmesi (General Language Understanding Evaluation - GLUE) kıyaslaması üzerinde Dönüştürücülerden Çift Yönlü Kodlayıcı Temsilleri (Bidirectional Encoder Representations from Transformers - BERT) modelini eğitmek için kullanılmıştır. Geliştirilmiş performans sergileyen INSGD, Doğal Dil İşleme (Natural Language Processing - NLP) görevlerinde standart SGD algoritmasına güçlü bir alternatif olarak öne çıkmaktadır. Bu fikir temel alınarak, Giriş Normalizasyonlu Adam (Input Normalized Adam - INAdam) adlı yeni bir optimizasyon algoritması önerilmiştir. INAdam, NLMS algoritmasından türetilen giriş normalizasyonu ilkesini Adam optimizasyon çerçevesiyle birleştirir. INAdam algoritmasının etkinliği, CIFAR-10 ve CIFAR-100 veri kümeleri üzerinde Artık Ağ (Residual Network - ResNet) mimarisi kullanılarak gerçekleştirilen kapsamlı görüntü sınıflandırma deneyleriyle gösterilmiştir. Son olarak, Kayıp ve Giriş Normalizasyonlu Stokastik Gradyan İnişi (Loss and Input Normalized Stochastic Gradient Descent - LINSGD) adlı yeni bir optimizasyon algoritması tasarlanmıştır. LINSGD, öğrenme oranını dinamik olarak ölçeklendirmek için hem hata normalizasyonunu hem de giriş normalizasyonunu birleştirir. LINSGD algoritmasının performansı, ResNet modelleri kullanılarak CIFAR-10 ve CIFAR-100 sınıflandırma deneyleriyle değerlendirilmiş ve önerilen algoritmanın kararlılık özellikleri vurgulanmıştır.
Özet (Çeviri)
Adaptive filters are online learning systems that adjust their parameters to achieve a desired output via an optimization algorithm. They are widely used in signal processing applications like noise cancellation, echo suppression, channel equalization, and system identification. An algorithm used to adjust the parameters of adaptive filters is Least Mean Square (LMS) which minimizes mean square error of the cost function. Normalized Least Mean Square (NLMS) algorithm is a refined version of LMS, which aims to improve stability and convergence by scaling the learning rate based on the power of the input vector. Adaptive filters lay the foundation of many learning systems, and their update rules resemble gradient-based learning found in modern machine learning. Input Normalized Stochastic Gradient Descent (INSGD) optimizer is recently introduced as a variant of Stochastic Gradient Descent (SGD), and utilizes the input normalization approach in NLMS to improve convergence behavior. Along with convergence issue, deep learning optimization has many concerns such as accuracy, stability, adaptability, vanishing gradients, sensitivity to hyperparameter tuning. Various optimizers are proposed in literature with different approaches that aim to address any of the purposes or problems. As an extension to current literature, this thesis broadens the application scope of INSGD optimizer by applying it to language tasks. Specifically, INSGD is used to train the Bidirectional Encoder Representations from Transformers (BERT) model on the General Language Understanding Evaluation (GLUE) benchmark. Demonstrating improved performance, INSGD emerges as a promising alternative to standard SGD in Natural Language Processing (NLP) tasks. Building on this idea, a novel optimizer named Input Normalized Adam (INAdam) is proposed. INAdam integrates the input normalization principle derived from the NLMS algorithm into the Adam optimization framework. The effectiveness of INAdam is shown through extensive image classification experiments on CIFAR-10 and CIFAR-100 datasets using the Residual Network (ResNet) architecture. As a final contribution, a new optimizer called Loss and Input Normalized Stochastic Gradient Descent (LINSGD) is introduced. LINSGD combines both error normalization and input normalization for dynamic learning rate scaling. The performance of LINSGD is evaluated through classification experiments on CIFAR-10 and CIFAR-100 using ResNet models, highlighting stability characteristics of the proposed optimizer.
Benzer Tezler
- XAU/USD prıce predıctıon usıng deep learnıng: hyperparameter optımızatıon wıth bayesıan, grey-wolf and genetıc algorıthms
Derin öğrenme kullanarak XAU/USD fiyat tahmini: bayes, gri kurt ve genetik algoritmalarla hiperparametre optimizasyonu
MELİS KÜÇÜK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Deep learning-based daily solar irradiation prediction for Adana region
Adana bölgesi için derin öğrenme tabanlı günlük güneş ışınımı tahmini
EMAN AHMED ERFAN OTHMAN ABDALLA
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiÇukurova ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLYAS EKER
DR. ÖĞR. ÜYESİ KASIM ZOR
- Farksal gelişim algoritması kullanılarak adaptif gürültü giderici
Adaptive noise canceller by using differential evolution algorithms
NALAN YİĞİT
Yüksek Lisans
Türkçe
2007
Elektrik ve Elektronik MühendisliğiErciyes ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. NURHAN KARABOĞA
- Yapay arı koloni algoritmasıyla sayısal süzgeç tasarımı
Digital filter design by using artificial bee colony algorithm
MEHMET BAHADIR ÇETİNKAYA
Doktora
Türkçe
2010
Elektrik ve Elektronik MühendisliğiErciyes ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NURHAN KARABOĞA
- Nanoakışkanların termofiziksel ve reolojik özelliklerinin yapay sinir ağları ile tahmin edilmesi
Prediction of the thermophysical and rheological properties of nanofluids with artificial neural network
KASIM ERDEM
Yüksek Lisans
Türkçe
2022
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDUSSAMET SUBAŞI