Covolutional neural networks based on non-euclidean operators
Öklidce mensup olmayan operatörler bazında konvolüsyonel sinir ağları
- Tez No: 486744
- Danışmanlar: Prof. AHMET ENİS ÇETİN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Sinir ağı kapsamında, besleme-iletme pasosu geçişindeki nokta bazlı işlemler, çarpma işlemi gerektirmeyen bir l1-norm indükleyici operatör ile değiştirildi. AddNet denilen sinir ağı, aykırı değerlere karşı dayanıklılık gibi l1-norma dayalı öznitelik çıkarma şemalarını özümsemektedir. Ayrıca, besleme-iletme pasoları daha az çarpma işlemleri kullanarak gerçekleştirilebilir, bu da enerji verimliliğini ima eder. L1-norm indükleyici operatör, neredeyse her yerde işlenenlerine göre türevlenebilir. Bu nedenle, standart Backpropagation algoritması ile eğitilecek olan sinir ağlarında kullanması mümkündür. AddNet, zarar gradyanlarının eğitim sırasında patlamaması için ölçekleme (çarpımsal) bir yan gerektirir. Çarpımsal yanı için farklı seçenekler sunuyoruz: eğitilebilir, doğrudan ilişkili ağırlıklara bağlı, veya sabit. Ayrıca, o operatörün seyrek bir varyantını sunuyoruz sunuyoruz ve böylelikle, kısmi veya tam benirizasyona ulaşabiliyoruz. Denemelerimizi MNIST ve CIFAR-10 veri setleri üzerinden yürüttük. AddNet, ortalama bir CNN'den 0.1% daha az doğru sonuç elde edebilir. Ayrıca, eğitilebilir çarpımsal yanı, ağın hızla yakınsamasına yardımcı olur. Yükleri ikili olan diğer sinir ağlarıyla karşılaştırıldığında, AddNet daha iyi sonuçlar elde eder; eğitildikten sonra, işaret bilgilerini tutarken tam veya neredeyse tam ağırlığı büyüklüğünde budama yaparken bile. CIFAR-10 üzerinde deneylere gelince, AddNet ortalama bir CNN'den $5\%$ daha az doğruluğa ulaşıyor. Yine de AddNet, verilerinin dürtüsel gürültü nedeniyle bozulmasına karşı daha titizdir ve dürtüsel gürültünün bulunduğu yerde ortalama bir CNN'den daha iyi performans gösterir, küçük gürültü seviyelerinde olsa bile.
Özet (Çeviri)
Dot product-based operations in neural net feedforwarding passes are replaced with an l1-norm inducing operator, which itself is multiplication-free. The neural net, which is called AddNet, retains attributes of l1-norm based feature extraction schemes such as resilience against outliers. Furthermore, feedforwarding passes can be realized using fewer multiplication operations, which implies energy efficiency. The l1-norm inducing operator is differentiable w.r.t its operands almost everywhere. Therefore, it is possible to use it in neural nets that are to be trained through standard backpropagation algorithm. AddNet requires scaling (multiplicative) bias so that cost gradients do not explode during training. We present different choices for multiplicative bias: trainable, directly dependent upon the associated weights, or fixed. We also present a sparse variant of that operator, where partial or full binarization of weights is achievable. We ran our experiments over MNIST and CIFAR-10 datasets. AddNet could achieve results that are 0.1% less accurate than a ordinary CNN. Furthermore, trainable multiplicative bias helps the network to converge fast. In comparison with other binary-weights neural nets, AddNet achieves better results even with full or almost full weight magnitude pruning while keeping the sign information after training. As for experimenting on CIFAR-10, AddNet achieves accuracy $5\%$ less than a ordinary CNN. Nevertheless, AddNet is more rigorous against impulsive noise data corruption and it outperforms the corresponding ordinary CNN in the presence of impulsive noise, even at small levels of noise.
Benzer Tezler
- Derin öğrenme ağ yapılarının uyku evreleme problemlerine uygulanması
Application of deep learning architectures on sleep staging problems
ENES EFE
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SERAL ÖZŞEN
- A comparative study on node classification methods for undirected social networks
Başlık çevirisi yok
TOLGA AY
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBüyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
DOÇ. DR. AYLA GÜLCÜ
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Termal görüntü çözünürlüğünün artırılması için derin öğrenme tabanlı bulut sisteminin geliştirilmesi
Development of cloud system based on deep learning for thermal image resolution enhancement
FATİH MEHMET ŞENALP
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT CEYLAN
- Convolutional neural networks based approach for classification of lung sounds
Akciğer seslerinin sınıflandırılmasında evrişimi sinir ağlarına dayalı yaklaşım
MOHAMMAD AL MASALMA
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiGaziantep ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SEMA KAYHAN