Aşırı öğrenme makinelerinin seyrek geri çatma algoritmaları ile optimizasyonu
Optimization of extreme learning machine with sparse recovery algorithms
- Tez No: 405945
- Danışmanlar: DOÇ. DR. MELİH CEVDET İNCE, PROF. DR. ABDULKADİR ŞENGÜR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Tek-gizli katmanlı ileri beslemeli ağlar, aşırı öğrenme makinaları, seyreklik, seyrek geri çatma, yinelemeli fırsatçı takip algoritmaları, Single-Layer feedforward network, extreme learning machine, sparsity, sparse recovery, greedy pursuit algorithms
- Yıl: 2015
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 124
Özet
Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makina öğrenmesi alanında ilgi duyulan bir konu haline gelmiştir. AÖM, Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme algoritmasıdır. AÖM öğrenme algoritması iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM'nin bazı eksiklikleri vardır. Öncelikle, AÖM çıkış ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından dolayı ezberleme problemi ile karşı karşıyadır. Bir diğer sakınca ise AÖM'nin başarımının gizli katman nöron sayısına bağlı olmasıdır. Ayrıca gizli katman nöron sayısı eğitim veri setinden büyük olması durumunda en küçük kareler çözümünden dolayı AÖM'de tekillik problemi ortaya çıkabilir ve çözüm kararsız bir davranış göstermektedir. Bu tez çalışmasında, AÖM çıkış ağırlıkları seyrek kabul edilerek, çıkış ağırlıklarının Yinelemeli Fırsatçı Takip (YFT) algoritmaları kullanılarak hesaplatılması amaçlanmıştır. Araştırılan YFT algoritmaları aşağıda belirtilmiştir; 1.Yinelemeli Sert Eşikleme (YSE), Dikgen Eşleme Takip (DET), Sıkıştırmalı Örneklemeli Eşleme Takip (SÖET) ve Kademeli Dikgen Eşleme Takip (KDET) 2.İleri Geri Takip (İGT) 3.Dikgen En küçük Kareler (DEK). Önerilen YFT tabanlı AÖM yöntemleri regresyon (grup 1), sınıflandırma (grup 2) ve zaman serisi (grup 3) problemlerine uygulanmıştır. Deneysel çalışmalar, önerilen yöntemlerin tekillik ve ezberleme problemlerine karşı dayanıklı bir AÖM mimarisi elde edildiğini göstermektedir. Ayrıca deneysel sonuçlar en uygun gizli katman nöron sayısı elde edildiğini göstermektedir.
Özet (Çeviri)
Recently, the Extreme Learning Machine (ELM) becomes an interesting topic in machine learning area. The ELM has been proposed as a new learning algorithm for Single-Hidden Layer Feed forward Networks (SLFNs). The ELM structure has several advantageous such as good generalization performance, extremely fast learning ability and low computational process. Besides this advantageous, the ELM structure has some drawbacks. Firstly, the ELM encounters over-fitting problems because of using a least squares minimization in calculation of the output weights. Another drawback is that performance of the ELM depends on the number of hidden neurons. On the other hand the ELM may encounter the singularity problem, and its solution may become unstable, when the hidden nodes are greater than the training data. In this thesis, the output weights, which are considered sparse, have been computed by using Greedy Pursuit (GP) algorithms. The investigated GP algorithms are given as following; 1.Iterative Hard Thresholding (IHT), Orthogonal Matching Pursuit (OMP), Compressive Sampling Matching Pursuit (CoSaMP) and Stagewise Orthogonal Matching Pursuit (StOMP); 2.Forward-Backward Pursuit (FBP); 3.Orthogonal Least-Squares (OLS). The proposed GP based ELM methods have been applied to regression (group 1), classification (group 2) and time series prediction (group 3) problems. The experimental results show that a robust ELM architecture which is getting over the singularity and over fitting has been obtained by using the proposed methods. The result also show that the number of hidden neurons has been obtained.
Benzer Tezler
- Çok katmanlı aşırı öğrenme makinelerinin geliştirilmesi ve sistem modellemedeki başarımlarının analizi
Improvement of multilayer extreme learning machines and their analysis of performance in system modeling
GİZEM ATAÇ KALE
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiElektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Enhancing deep extreme learning machines: Novel multi-kernel autoencoders and implementation for detecting the chronic obstructive pulmonary disease
Derin aşırı öğrenme makinelerinin geliştirilmesi: Yeni çok çekirdekli autoencoderlar ve kronik obstruktif akciğer hastalığının belirlenmesinde uygulanması
GÖKHAN ALTAN
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMustafa Kemal ÜniversitesiEnformatik Ana Bilim Dalı
YRD. DOÇ. DR. YAKUP KUTLU
- Çok katmanlı aşırı öğrenme makinelerinin regresyon problemlerindeki başarımlarının karşılaştırılması
Comparison of performance of multilayer extreme learning machines in regression problems
MUHAMMED YILDIRIM
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Aşırı öğrenme makineleri ile dinamik sistem modelleme
Dynamic system modeling with extreme learning machines
AHMET BAKIRCI
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Image registration based on ensemble of extreme learning machine
Aşırı öğrenme makinası topluluğuna dayalı görüntü çakıştırma
MOHAMED GALALELDIN ALI ELOBAID
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiDokuz Eylül ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAVUZ ŞENOL