Geri Dön

Ensemble pruning in deep learning via semi-infinite optimization

Yarı sonsuz optimizasyon ile derin öğrenmede topluluk budama

  1. Tez No: 753819
  2. Yazar: MELİSA ÇALIŞKAN DEMİR
  3. Danışmanlar: PROF. DR. SÜREYYA AKYÜZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 56

Özet

Derin öğrenme özellikle bilgisayarlı görü problemlerinin çözümünde yüksek başarı göstermekte ve günümüzde neredeyse her alana uygulanmaktadır. Evrişimsel Sinir Ağları çeşitli katmanlardan oluşan, literatürde özellikle görüntü işleme alanında yaygın olarak kullanılmakta olan ve kendinden önceki görüntü işleme yöntemlerine göre yüksek başarı gösteren bir yapay sinir ağı çeşididir. Sonlu sayıda değişken ve sonsuz sayıda kısıtlama ile ifade edilebilen problemler yarı-sonsuz programlama olarak bilinmektedir. Bu tezde yarı-sonsuz programlama ile evrişimsel sinir ağları topluluğunu budamak için bir optimizasyon modeli geliştirilmiştir. Amaç fonksiyonu, kaybın karesi ve topluluğun doğruluğu-çeşitliliği arasındaki ödünleşim göz önünde bulundurularak Shannon Entropi fonksiyonu kullanılarak oluşturulmuştur. Doğruluk ve çeşitlilik arasındaki ödünleşim optimizasyonu, sonsuz sayıda tanımlanmış kısıtların sonsuz indeks kümesinde ödünleşim parametresi tanımlanarak modellenmiştir. Topluluk budama problemleri için literatürdeki modellerin çoğu büyük ölçüde budama boyutuna bağlıdır. Bu bağımlılıktan kaçınmak için bu tezde topluluk içindeki her ağ, bu ağların ağırlıkları optimizasyon modelinin değişkenleri olacak şekilde ağırlıklandırılmıştır. Ek olarak, sıfır olmayan ağırlıklar evrişimsel sinir ağları topluluğu içindeki seçilen ağlara karşılık geldiğinden, bu ağırlıklar budama boyutuyla sonuçlanan bir norm kısıtı eklenerek seyrekleştirilmiştir. Bu tezde önerilen matematiksel model, görüntü işleme literatüründe sıklıkla kullanılan popüler veri setlerinden CIFAR 10 ve MNIST üzerinde test edilmiştir.

Özet (Çeviri)

Deep learning shows high success, especially in computer vision problems and has been applied to almost every field today. Convolutional Neural Networks (CNNs) are a type of deep neural network consisting of various layers, are widely used in the literature, especially in image processing, and show high prediction performance compared to older image processing methods. Problems that can be represented with a finite number of variables and an infinite number of constraints are known as Semi-Infinite Programming (SIP). In this thesis, a novel optimization model has been developed to prune the ensemble of CNNs by semi-infinite programming. An objective function is defined; considering squared loss and the Shannon Entropy function which enables the optimization of the trade-off between accuracy and diversity of the ensemble. Optimization of this trade-off is modelled by defining the trade-off parameter as the index of the infinite index set of infinitely many defined constraints. Most of the models in the literature for ensemble pruning problems are highly dependent on pruning size. To avoid this dependency, in this thesis, each network within the ensemble is weighted such that the weights become the variables of the optimization model. Additionally, these weights are sparsified by adding a norm constraint, which results in the pruning size since the non-zero weights correspond to the selected networks within the ensemble of CNNs. The proposed mathematical model in this thesis has been tested on CIFAR 10 and MNIST datasets, which are frequently used popular datasets in image processing literature.

Benzer Tezler

  1. Pruning the ensemble of deep neural networks with second-order cone programming

    İkinci dereceden konik programlama ile derin sinir ağları topluluğunun budanması

    BUSE ÇİSİL GÜLDOĞUŞ

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. SÜREYYA AKYÜZ

  2. On-the-fly ensemble classifier pruning in evolving data streams

    Evrilen veri akışlarında heyet sınıflandırıcıların anında budanması

    SANEM ELBAŞI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FAZLI CAN

  3. Text categorization and ensemble pruning in turkish news portals

    Türkçe haber portallarında metin sınıflandırma ve topluluk budama

    ÇAĞRI TORAMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FAZLI CAN

  4. Ensemble pruning using optimization modeling

    Optimizasyon modellemesi kullanarak topluluk budaması

    PINAR KARADAYI ATAŞ

    Doktora

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Mühendislik Bilimleri Ana Bilim Dalı

    DOÇ. DR. SÜREYYA AKYÜZ

  5. Ensemble based feature selection with hybrid model

    Hibrit modeli ile topluluk temelli öznitelik seçimi

    CEYLAN DEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Matematikİstanbul Teknik Üniversitesi

    Matematik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İZZET GÖKSEL

    DOÇ. DR. SÜREYYA AKYÜZ