Hyperparameter optimization of support vector machines with a new algorithm combining grid search and particle swarm optimization
Izgara arama ve parçacık sürüsü optimizasyonunu birleştiren yeni bir algoritma ile destek vektör makinelerinin hiperparametre optimizasyonu
- Tez No: 725909
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA AÇIKKAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Adana Alparslan Türkeş Bilim Ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 74
Özet
Hiperparametre optimizasyonu, tüm makine öğrenimi algoritmalarında olduğu gibi Destek Vektör Makinelerinin (SVM) tahmin doğruluğunu iyileştirmede de hayati önem taşır. Bu çalışma; iki güçlü ve yaygın olarak kullanılan algoritmayı, Parçacık Sürü Optimizasyonu (PSO) ve Izgara Araması'nı (GS), birleştiren yeni bir hibrit optimizasyon algoritması olan PSOGS'yi tanıtmaktadır. Bu hibrit algoritma, on iki veri kümesi üzerinde denenmiştir. PSOGS'nin hızı ve PSOGS ile optimize edilmiş SVM modellerinin (PSOGS-SVM) tahmin doğruluğu, onu oluşturan algoritmaların (PSO ve GS) ve PSO ile Yerçekimi Arama Algoritmasını (GSA) birleştiren başka bir hibrit optimizasyon algoritması (PSOGSA) ile karşılaştırılmıştır. Tahmin doğrulukları, sınıflandırma problemleri için Tahmin Doğruluğu ve F-Skoru ve regresyon problemleri için Ortalama Kareler Hatası, Ortalama Mutlak Yüzde Hatası ve Çoklu Korelasyon Katsayısı açısından değerlendirilmiş ve karşılaştırılmıştır. Geliştirilen modellerin güvenilirliğini sağlamak için, 30 farklı deneme ve 10 kat çapraz doğrulama yapılarak deneylerin sonuçları elde edilmiştir. Sonuçlar, PSOGS'nin GS ile karşılaştırılabilir tahmin doğruluğu sağladığını, GS'den çok daha hızlı performans gösterdiğini, PSO'dan daha kısa çalışma süresi ile biraz daha iyi sonuçlar sağladığını göstermiştir. Ayrıca PSOGS-SVM'nin hem tahmin doğruluğu hem de çalışma süresi açısından PSOGSA-SVM'den daha etkili sonuçlar sunduğu görülmüştür. Sonuç olarak bu çalışma, PSOGS'nin SVM hiperparametrelerini optimize etmek için hızlı, kararlı, verimli ve güvenilir bir algoritma olduğunu kanıtlamıştır.
Özet (Çeviri)
Hyperparameter optimization is vital in improving the prediction accuracy of Support Vector Machines (SVM) as in all machine learning algorithms. This study introduces a new hybrid optimization algorithm, namely PSOGS, which consolidates two strong and widely used algorithms; Particle Swarm Optimization (PSO) and Grid Search (GS). This hybrid algorithm experimented on twelve benchmark datasets. The speed of PSOGS and the prediction accuracy of PSOGS-optimized SVM models (PSOGS-SVM) were compared to those of its constituent algorithms (PSO and GS) and another hybrid optimization algorithm (PSOGSA) that combines PSO and Gravitational Search Algorithm (GSA). The prediction accuracies were evaluated and compared in terms of Accuracy and F-Score for classification problems and Root Mean Square Error, Mean Absolute Percentage Error, and Multiple Correlation Coefficient for regression problems. For the sake of reliability, the results of the experiments were obtained by performing 10-fold cross-validation on 30 runs. The results showed that PSOGS yields comparable prediction accuracy with GS, performs much faster than GS, provides slightly better results with less execution time than PSO. Besides, PSOGS-SVM presents more effective results than PSOGSA-SVM in terms of both prediction accuracy and execution time. As a result, this study proved that PSOGS is a fast, stable, efficient, and reliable algorithm for optimizing hyperparameters of SVM.
Benzer Tezler
- Yelken balığı eniyileme yaklaşımı ile güçlendirilmiş karar ağacı algoritması kullanarak kalp rahatsızlıklarının teşhisi
Using sailfish optimizer with enhanced decision tree algorithm to diagnose heart disease
MURAT ONUR YILDIRIM
Yüksek Lisans
Türkçe
2021
Endüstri ve Endüstri MühendisliğiSüleyman Demirel ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDAL AYDEMİR
- Öğrencilerin akademik performanslarının veri madenciliği teknikleri ile analizi
Analysis of students' academic performance using data mining techniques
SEVDA AGHALAROVA
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞAHİN IŞIK
- Yağmur suyu ızgaralarının hidrolik verimliliğinin makine öğrenmesi yöntemleriyle modellenmesi
Modeling of hydraulic efficiency of storm water grate inlets by machine learning methods
KAYHAN BAYHAN
Yüksek Lisans
Türkçe
2023
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ÖZGER
- Makine öğrenme yöntemleri ile EEG sinyalinden alzheimer tespiti
Detection of alzheimer's from EEG signal with machine learning methods
YELİZ ŞENKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiOndokuz Mayıs ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇETİN KURNAZ
- Açık uçlu eşeksenel prob ile dielektrik spektroskopi için makine öğrenmesi temelli kestirim yöntemleri
Machine learning based estimation methods for dielectric spectroscopy with open-ended coaxial probe
MUSA ALPEREN YILMAZ
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ÇAYÖREN