Development of efficient method and hardware for sparse machine learning
Seyrek makine öğrenimi için verimli bir yöntem ve donanım geliştirilmesi
- Tez No: 837281
- Danışmanlar: PROF. DR. SEMA KOÇ KAYHAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Gaziantep Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 105
Özet
Doğal olarak oluşan sinyallerin çoğu seyreklik özelliği gösterir ve bu özellik sinyal işlemede kullanılan algoritmaların verimliliğini, yorumlanabilirliğini ve etkinliğini artırabilmektedir. Yapay öğrenme yöntemleri arasında yaygın olarak kullanılan yapay sinir ağlarının (ANN) verimlilikleri bu seyreklik özelliği kullanılarak arttırılabilir. Bir tür ANN eğitme yöntemi olan aşırı öğrenme makinesi (ELM), hızlı eğitim süresi ve iyi tahmin performansıyla öne çıkan bir tekniktir. Ancak, ELM ve benzeri ANN'ler; aşırı öğrenmeyi önlemek için düzenlileştirmeye ihtiyaç duyması ve gizli katmanda çok fazla nörona ihtiyaç duyulması sebebiyle, büyük ölçekli veriler için yüksek hesaplama gücüne ihtiyaç duymaktadır. Bu tezde, alternatif yönlü çarpanlar metodu (ADMM) tabanlı seyrek karmaşık normlu (l2,1) düzenlileştirilmiş çevrim içi yapay öğrenme algoritması (MRO-ELM) önerilmiştir. Karmaşık norm ve Frobenius norm düzenlileştirmesinin doğrusal bir kombinasyonu uygulanmış ve güncelleme formülleri türetilmiştir. Eğitim süresini daha da iyileştirmek için MRO-ELM'nin grafik işlem birimi (GPU) hızlandırılmış sürümü (GPU-MRO-ELM) de önerilmiş ve geliştirilmiş hesaplama çekirdekleriyle paralel işleme yapılmıştır. Ayrıca, GPU hızlandırmasıyla GPU-MRO-ELM'ye yeni bir otomatik hiper-parametre ayarlama yöntemi de dahil edilmiştir. Deneysel sonuçlar, GPU-MRO-ELM algoritmasının literatürdeki benzer çevrim içi ELM algoritmalarını eğitim hızı ve test doğruluğu açısından aştığını göstermektedir. Ayrıca, çapraz doğrulama (CV) ile karşılaştırıldığında, önerilen otomatik hiperparametre ayarlama yönteminin ayarlama süresinde dramatik bir azalma gösterdiği görülmüştür. Bunun yanı sıra, paralel bir donanım mimarisi, programlanabilir alan kapı dizisi (FPGA) üzerinde önerilmiş ve uygulanmıştır. Bu mimari, norm düzenlileştirmeyi destekleyen ve mevcut paralel mimarilere kıyasla daha düşük kaynak kullanımı ve daha yüksek tahmin doğruluğu sergileyen ilk uygulamadır
Özet (Çeviri)
Most natural signals exhibit sparsity which can enhance the efficiency, interpretability, and effectiveness of the related algorithms. Artificial neural networks (ANNs) are widely used in the literature and their efficiency can be enhanced with sparse learning. Extreme learning machine (ELM) is a prominent training method for an ANN with its fast training speed, and good prediction performance. However, due to the need for regularization to prevent overfitting and the large number of neurons required in the hidden layer, such ANNs demand significant computation power for large-scale data. This thesis proposed a sparse mixed norm (l2,1) regularized online machine learning algorithm (MRO-ELM) based on alternating direction method of multipliers (ADMM). A linear combination of the mixed norm and the Frobenius norm regularization is applied and update formulas are derived. Graphics processing unit (GPU) accelerated version of MRO-ELM (GPU-MRO-ELM) is also proposed to reduce the training time by processing appropriate parts in parallel using the implemented kernels. In addition, a novel automatic hyper-parameter tuning method is incorporated to GPU-MRO-ELM with GPU acceleration. The experimental results show that the GPU-MRO-ELM algorithm outperforms the similar online ELM algorithms in the literature in terms of training speed, and prediction accuracy. Moreover, compared to cross-validation (CV), the proposed automatic hyper-parameter tuning method shows a dramatic reduction in tuning time. Furthermore, a parallel hardware architecture was proposed and implemented on field programmable gate array (FPGA). This architecture is the first to support norm regularization, exhibiting lower resource utilization and higher prediction accuracy compared to existing parallel architectures.
Benzer Tezler
- Demir ve çelik tesislerinde bakım uygulamaları
The Maintenance applications in iron and steel industry
M.OĞUZ KARTEPE
Yüksek Lisans
Türkçe
1991
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. MUSTAFA SAVCI
- Çimento fabrikalarında makina performansına dayalı bakım planlaması sistemi ve yönetimi
Başlık çevirisi yok
ÜMİT ÖZTÜRK
Yüksek Lisans
Türkçe
1998
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. H. TEMEL BELEK
- On the analysis and evaluation of sparse hybrid linear solvers
Sparse hibrit doğrusal çözücülerinin analizi ve değerlendirilmesi
AFRAH NAJIB ABDULLAH FAREA
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
PROF. DR. MUSTAFA SERDAR ÇELEBİ
- Adaptive techniques in compressed sensing based direction of arrival estimation
Sıkıştırılmış algılama tabanlı geliş açısı kestiriminde uyarlanabilir teknikler
BERKAN KILIÇ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ORHAN ARIKAN