Pruning the ensemble of deep neural networks with second-order cone programming
İkinci dereceden konik programlama ile derin sinir ağları topluluğunun budanması
- Tez No: 847208
- Danışmanlar: PROF. DR. SÜREYYA AKYÜZ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Endüstri ve Endüstri Mühendisliği, Computer Engineering and Computer Science and Control, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
Topluluk yöntemleri, birden fazla modeli birleştirerek optimal bir tahmin modeli oluşturması açısından makine öğreniminde büyük önem taşımaktadir. Topluluk budama, topluluk modellerinin hesaplama karmaşıklığını bir sınıflandırıcı alt kümesi seçerek azaltır. Bu alt küme seçimi, doğruluk ve çeşitlilik arasında bir denge gerektirir. Bu tez, farkli derinlik ve katmanlara sahip Evrisimli Sinir Aglari`nin (CNN'ler) toplulugunu seyrek ikinci derece koni programlamayı kullanarak budamak için yeni bir matematiksel model üzerinde odaklanmaktadır. Bu yaklaşım aynı zamanda doğruluk ve çeşitlilik dengelemesini optimize etmektedir. CIFAR-10, CIFAR-100 ve MNIST veri setlerinde yapılan deneyler, performans metrikleri korunurken model sayısının önemli ölçüde azaltildigini gostermektedir. Önerilen model, gömülü bir özellik seçimi algoritması olarak kullanilmistir. Bu, veri seti içindeki özniteliklerini eğiten bir sinir ağı ile işlev görür ve bunların ilgili çıktılarını kullanarak tahminlerle birlikte bir olasılık sınıf dağılımı oluşturur. Bu metodolojik yaklaşım, sinir ağlarını gömülü sınıflandırıcılar olarak kullanarak sınıflandırmaya önemli katkıda bulunan öznitelik belirlemek için ikinci derece koni programlamayı entegre etmektedir.
Özet (Çeviri)
Ensemble methods hold high significance in machine learning as they combine multiple models to create an optimal predictive model. Ensemble pruning reduces the computational complexity of ensemble models by selecting a subset of classifiers. This subset selection involves a trade-off between accuracy and diversity. Thus, this thesis focuses on a novel mathematical model to prune the ensemble of Convolutional Neural Networks (CNNs), employing sparse second-order cone programming in which accuracy and diversity tradeoff is optimized. Experiments conducted on CIFAR-10, CIFAR-100, and MNIST datasets showcase promising results by substantially reducing the number of models while maintaining performance metrics. The proposed model is further extended to an embedded feature selection algorithm. It functions by training a neural network on individual features within a dataset, utilizing their respective outputs to construct a probability class distribution alongside predictions. This methodological approach integrates second-order conic programming to identify features that significantly contribute to precise classification using neural networks as embedded classifiers.
Benzer Tezler
- Ensemble pruning in deep learning via semi-infinite optimization
Yarı sonsuz optimizasyon ile derin öğrenmede topluluk budama
MELİSA ÇALIŞKAN DEMİR
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri MühendisliğiBahçeşehir ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. SÜREYYA AKYÜZ
- On-the-fly ensemble classifier pruning in evolving data streams
Evrilen veri akışlarında heyet sınıflandırıcıların anında budanması
SANEM ELBAŞI
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FAZLI CAN
- Ensemble pruning using optimization modeling
Optimizasyon modellemesi kullanarak topluluk budaması
PINAR KARADAYI ATAŞ
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
DOÇ. DR. SÜREYYA AKYÜZ
- Görüş sınıflandırma için makine öğrenmesi algoritmalarına dayalı bir yöntem tasarımı ve gerçekleştirimi
The design and implementation of a method for opinion classification based on machine learning algorithms
AYTUĞ ONAN
Doktora
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA SERDAR KORUKOĞLU
YRD. DOÇ. DR. HASAN BULUT
- Ensemble based feature selection with hybrid model
Hibrit modeli ile topluluk temelli öznitelik seçimi
CEYLAN DEMİR
Yüksek Lisans
İngilizce
2019
Matematikİstanbul Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İZZET GÖKSEL
DOÇ. DR. SÜREYYA AKYÜZ