Geri Dön

Pruning the ensemble of deep neural networks with second-order cone programming

İkinci dereceden konik programlama ile derin sinir ağları topluluğunun budanması

  1. Tez No: 847208
  2. Yazar: BUSE ÇİSİL GÜLDOĞUŞ
  3. Danışmanlar: PROF. DR. SÜREYYA AKYÜZ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Endüstri ve Endüstri Mühendisliği, Computer Engineering and Computer Science and Control, Industrial and Industrial Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 117

Özet

Topluluk yöntemleri, birden fazla modeli birleştirerek optimal bir tahmin modeli oluşturması açısından makine öğreniminde büyük önem taşımaktadir. Topluluk budama, topluluk modellerinin hesaplama karmaşıklığını bir sınıflandırıcı alt kümesi seçerek azaltır. Bu alt küme seçimi, doğruluk ve çeşitlilik arasında bir denge gerektirir. Bu tez, farkli derinlik ve katmanlara sahip Evrisimli Sinir Aglari`nin (CNN'ler) toplulugunu seyrek ikinci derece koni programlamayı kullanarak budamak için yeni bir matematiksel model üzerinde odaklanmaktadır. Bu yaklaşım aynı zamanda doğruluk ve çeşitlilik dengelemesini optimize etmektedir. CIFAR-10, CIFAR-100 ve MNIST veri setlerinde yapılan deneyler, performans metrikleri korunurken model sayısının önemli ölçüde azaltildigini gostermektedir. Önerilen model, gömülü bir özellik seçimi algoritması olarak kullanilmistir. Bu, veri seti içindeki özniteliklerini eğiten bir sinir ağı ile işlev görür ve bunların ilgili çıktılarını kullanarak tahminlerle birlikte bir olasılık sınıf dağılımı oluşturur. Bu metodolojik yaklaşım, sinir ağlarını gömülü sınıflandırıcılar olarak kullanarak sınıflandırmaya önemli katkıda bulunan öznitelik belirlemek için ikinci derece koni programlamayı entegre etmektedir.

Özet (Çeviri)

Ensemble methods hold high significance in machine learning as they combine multiple models to create an optimal predictive model. Ensemble pruning reduces the computational complexity of ensemble models by selecting a subset of classifiers. This subset selection involves a trade-off between accuracy and diversity. Thus, this thesis focuses on a novel mathematical model to prune the ensemble of Convolutional Neural Networks (CNNs), employing sparse second-order cone programming in which accuracy and diversity tradeoff is optimized. Experiments conducted on CIFAR-10, CIFAR-100, and MNIST datasets showcase promising results by substantially reducing the number of models while maintaining performance metrics. The proposed model is further extended to an embedded feature selection algorithm. It functions by training a neural network on individual features within a dataset, utilizing their respective outputs to construct a probability class distribution alongside predictions. This methodological approach integrates second-order conic programming to identify features that significantly contribute to precise classification using neural networks as embedded classifiers.

Benzer Tezler

  1. Ensemble pruning in deep learning via semi-infinite optimization

    Yarı sonsuz optimizasyon ile derin öğrenmede topluluk budama

    MELİSA ÇALIŞKAN DEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Endüstri ve Endüstri MühendisliğiBahçeşehir Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. SÜREYYA AKYÜZ

  2. On-the-fly ensemble classifier pruning in evolving data streams

    Evrilen veri akışlarında heyet sınıflandırıcıların anında budanması

    SANEM ELBAŞI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FAZLI CAN

  3. Ensemble pruning using optimization modeling

    Optimizasyon modellemesi kullanarak topluluk budaması

    PINAR KARADAYI ATAŞ

    Doktora

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Mühendislik Bilimleri Ana Bilim Dalı

    DOÇ. DR. SÜREYYA AKYÜZ

  4. Görüş sınıflandırma için makine öğrenmesi algoritmalarına dayalı bir yöntem tasarımı ve gerçekleştirimi

    The design and implementation of a method for opinion classification based on machine learning algorithms

    AYTUĞ ONAN

    Doktora

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA SERDAR KORUKOĞLU

    YRD. DOÇ. DR. HASAN BULUT

  5. Ensemble based feature selection with hybrid model

    Hibrit modeli ile topluluk temelli öznitelik seçimi

    CEYLAN DEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Matematikİstanbul Teknik Üniversitesi

    Matematik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İZZET GÖKSEL

    DOÇ. DR. SÜREYYA AKYÜZ