Ensemble pruning in deep learning via semi-infinite optimization
Yarı sonsuz optimizasyon ile derin öğrenmede topluluk budama
- Tez No: 753819
- Danışmanlar: PROF. DR. SÜREYYA AKYÜZ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 56
Özet
Derin öğrenme özellikle bilgisayarlı görü problemlerinin çözümünde yüksek başarı göstermekte ve günümüzde neredeyse her alana uygulanmaktadır. Evrişimsel Sinir Ağları çeşitli katmanlardan oluşan, literatürde özellikle görüntü işleme alanında yaygın olarak kullanılmakta olan ve kendinden önceki görüntü işleme yöntemlerine göre yüksek başarı gösteren bir yapay sinir ağı çeşididir. Sonlu sayıda değişken ve sonsuz sayıda kısıtlama ile ifade edilebilen problemler yarı-sonsuz programlama olarak bilinmektedir. Bu tezde yarı-sonsuz programlama ile evrişimsel sinir ağları topluluğunu budamak için bir optimizasyon modeli geliştirilmiştir. Amaç fonksiyonu, kaybın karesi ve topluluğun doğruluğu-çeşitliliği arasındaki ödünleşim göz önünde bulundurularak Shannon Entropi fonksiyonu kullanılarak oluşturulmuştur. Doğruluk ve çeşitlilik arasındaki ödünleşim optimizasyonu, sonsuz sayıda tanımlanmış kısıtların sonsuz indeks kümesinde ödünleşim parametresi tanımlanarak modellenmiştir. Topluluk budama problemleri için literatürdeki modellerin çoğu büyük ölçüde budama boyutuna bağlıdır. Bu bağımlılıktan kaçınmak için bu tezde topluluk içindeki her ağ, bu ağların ağırlıkları optimizasyon modelinin değişkenleri olacak şekilde ağırlıklandırılmıştır. Ek olarak, sıfır olmayan ağırlıklar evrişimsel sinir ağları topluluğu içindeki seçilen ağlara karşılık geldiğinden, bu ağırlıklar budama boyutuyla sonuçlanan bir norm kısıtı eklenerek seyrekleştirilmiştir. Bu tezde önerilen matematiksel model, görüntü işleme literatüründe sıklıkla kullanılan popüler veri setlerinden CIFAR 10 ve MNIST üzerinde test edilmiştir.
Özet (Çeviri)
Deep learning shows high success, especially in computer vision problems and has been applied to almost every field today. Convolutional Neural Networks (CNNs) are a type of deep neural network consisting of various layers, are widely used in the literature, especially in image processing, and show high prediction performance compared to older image processing methods. Problems that can be represented with a finite number of variables and an infinite number of constraints are known as Semi-Infinite Programming (SIP). In this thesis, a novel optimization model has been developed to prune the ensemble of CNNs by semi-infinite programming. An objective function is defined; considering squared loss and the Shannon Entropy function which enables the optimization of the trade-off between accuracy and diversity of the ensemble. Optimization of this trade-off is modelled by defining the trade-off parameter as the index of the infinite index set of infinitely many defined constraints. Most of the models in the literature for ensemble pruning problems are highly dependent on pruning size. To avoid this dependency, in this thesis, each network within the ensemble is weighted such that the weights become the variables of the optimization model. Additionally, these weights are sparsified by adding a norm constraint, which results in the pruning size since the non-zero weights correspond to the selected networks within the ensemble of CNNs. The proposed mathematical model in this thesis has been tested on CIFAR 10 and MNIST datasets, which are frequently used popular datasets in image processing literature.
Benzer Tezler
- Pruning the ensemble of deep neural networks with second-order cone programming
İkinci dereceden konik programlama ile derin sinir ağları topluluğunun budanması
BUSE ÇİSİL GÜLDOĞUŞ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. SÜREYYA AKYÜZ
- On-the-fly ensemble classifier pruning in evolving data streams
Evrilen veri akışlarında heyet sınıflandırıcıların anında budanması
SANEM ELBAŞI
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FAZLI CAN
- Text categorization and ensemble pruning in turkish news portals
Türkçe haber portallarında metin sınıflandırma ve topluluk budama
ÇAĞRI TORAMAN
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FAZLI CAN
- Ensemble pruning using optimization modeling
Optimizasyon modellemesi kullanarak topluluk budaması
PINAR KARADAYI ATAŞ
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
DOÇ. DR. SÜREYYA AKYÜZ
- Ensemble based feature selection with hybrid model
Hibrit modeli ile topluluk temelli öznitelik seçimi
CEYLAN DEMİR
Yüksek Lisans
İngilizce
2019
Matematikİstanbul Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İZZET GÖKSEL
DOÇ. DR. SÜREYYA AKYÜZ