Logarithmic learning differential Convolutional Neural Network
Logaritmik öğrenme diferansiyel Evrişimsel Sinir Ağı
- Tez No: 858085
- Danışmanlar: PROF. DR. MUTLU AVCI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Logaritmik Öğrenme, Konvolüsyonel Sinir Ağları, Diferansiyel Konvolüsyon
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Çukurova Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 141
Özet
Evrişimsel Sinir Ağları (CNN'ler), görüntü sınıflandırmaya yönelik yenilikçi tasarım ve eğitim metodolojileriyle bilgisayarlı görme alanını dönüştürmede etkili olmuştur. Eşzamanlı çok boyutlu filtre gerçekleştirmeli diferansiyel evrişimli sinir ağı, hesaplama maliyeti dezavantajlarına sahip olmasına rağmen, evrişimli sinir ağının performansını artırmada başarılı olmuştur. Bu Tez, Diferansiyel Evrişimli sinir ağına logaritmik öğrenme entegrasyonu sağlayarak bu dezavantaja bir çözüm önermektedir. Önerilen yaklaşım, daha hızlı hata minimizasyonu ve yakınsama için LogRelu aktivasyonunu, logaritmik maliyet fonksiyonunu ve benzersiz bir logaritmik öğrenme yöntemini kullanır. Çalışma, önerilen bu yöntemlerin etkinliğini SGD ve Adam da dahil olmak üzere birden fazla veri kümesi ve optimizasyon algoritması genelinde değerlendiriyor. Deneysel bulgular, LogRelu'nun entegrasyonunun, konvolüsyonel sinir ağlarında %1.61 ila %5.44 arasında performans iyileştirmelerine neden olduğunu göstermektedir. Aynı entegrasyonun ResNet-18, ResNet-34 ve ResNet-50 üzerinde uygulanması, top-1 doğruluğunu %3.07 ila %9.96 aralığında artırmaktadır. Üstelik Logaritmik Diferansiyel CNN, Logaritmik Maliyet Fonksiyonunun uyarlanmasıyla %3.02'ye varan doğruluk artışıyla standart CNN'lerden daha iyi performans gösteriyor. Çalışma aynı zamanda Diferansiyel CNN modelleri ve MNIST ve Cifar10 veri kümelerini kullanan önceden eğitilmiş modeller üzerindeki çeşitli aktivasyon fonksiyonlarını da değerlendirmektedir. Aktivasyonlar arasında LeakyReLU, ELU, SELU ve LogRelu sürekli olarak ReLU'dan daha iyi performans gösteriyor ve LogRelu özellikle düşük öğrenme oranlarında etkili oluyor. Diferansiyel CNN, belirli optimize edicilerle uyumluluk sorunlarıyla karşı karşıya kalsa da, uyarlanabilirlik sergiliyor ve 0,01 SGD oranıyla ve Adam ve RMSprop için daha düşük oranlarla öne çıkıyor.Deneysel sonuçlar önerilen yaklaşımın etkinliğini kanıtladı.
Özet (Çeviri)
Convolutional Neural Networks (CNNs) have been instrumental in transforming the field of computer vision by their innovative design and training methodologies for image classification. The differential convolutional neural network with simultaneous multidimensional filter realization has been successful in improving the performance of the convolutional neural network, although it suffers from calculation cost drawbacks. This Thesis proposes a solution to the drawback by introducing logarithmic learning integration into the differential Convolutional neural network. The proposed approach employs LogRelu activation, a logarithmic cost function, and a unique logarithmic learning method for faster error minimization and convergence. The study evaluates the effectiveness of these proposed methods across multiple datasets and optimization algorithms, including SGD and Adam. The experimental findings show that integrating LogRelu leads to performance improvements ranging from 1.61% to 5.44% across convolutional neural networks, while the same integration on ResNet-18, ResNet-34, and ResNet-50 enhances top-1 accuracy in the range of 3.07% and 9.96%. Moreover, the Logarithmic Differential CNN consistently outperforms standard CNNs with an accuracy increase of up to 3.02% with the adaptation of the Logarithmic Cost Function. The study also evaluates various activation functions on Differential CNN models and pre-trained models using MNIST and Cifar10 datasets. Among the activations, LeakyReLU, ELU, SELU, and LogRelu consistently outperform ReLU, with LogRelu being particularly effective at lower learning rates. Although the differential CNN faces compatibility issues with certain optimizers, it displays adaptability and excels with an SGD rate of 0.01 and lower rates for Adam and RMSprop.The experimental results proved the efficiency of the proposed approach.
Benzer Tezler
- Sequential nonlinear learning
Ardışık doğrusal olmayan öğrenme
NURİ DENİZCAN VANLI
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. SÜLEYMAN SERDAR KOZAT
- Logaritmik işlem zamanlı öğrenme etkisi altında iş reddetmeli çizelgeleme problemleri
Scheduling problems under the effects of logarithmic learning with job reduction
AYŞE BÜŞRA GÜNAY
Yüksek Lisans
Türkçe
2018
Endüstri ve Endüstri MühendisliğiErciyes ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET DURAN TOKSARI
- A new classifier topology – generalized classifier neural network and its hardware implementations
Yeni bir sınıflayıcı topolojisi – genelleştirilmiş sınıflayıcı yapay sinir ağı ve donanım üzerinde gerçekleştirilmesi
BUSE MELİS ÖZYILDIRIM
Doktora
İngilizce
2015
Elektrik ve Elektronik MühendisliğiÇukurova ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUTLU AVCI
- An information-theoretic approach to distributed learning. distributed source coding under logarithmic loss
Başlık çevirisi yok
YİĞİT UĞUR
- Machine learning based augmentation of medical microwave imaging
Medikal mikrodalga görüntülemenin makine öğrenmesiyle iyileştirilmesi
MERVE KAPLAN ŞAFAK
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ÇAYÖREN