On the importance of hidden bias and hidden entropy in representational efficiency of the Gaussian-bipolar restricted Boltzmann machines
Gaussian-iki kutuplu kısıtlı Boltzmann makinelerinin betimleyici verimliliğinde saklı yanlılıkların ve saklı entropinin önemi üzerine
- Tez No: 492513
- Danışmanlar: DOÇ. DR. ENGİN ERZİN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Maksimum entropi, Maximum entropy
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son zamanlarda yapay öğrenme ve derin öğrenme alanlarının yaygınlaşmasıyla eğiticisiz öğrenme yöntemlerinin önemi artmaktadır. Gauss-Bernoulli Kısıtlı Boltzmann Makineleri (KBM) gerçel veriyi modelleyebilme özelliğine sahip bu yöntemlerden birisi olarak yapay sinir ağlarının ağırlıklarının ön eğitiminde kullanılmaktadır. Bu tezde Gauss-Bernoulli KBM'lerine benzer Gauss-İki Kutuplu KBM'lerinin betimleyici verimliliğinde gizli yanlılıkların rolünü inceledik. Çalışmalarımızda gizli yanlılıkların görünür birimlerin olasılık yoğunluk işlevinin şekillendirilmesinde önemli rol oynadığı gördük. Bu doğrultuda, modelin betimleyici verimliliği için yeni bir gizli entropi ölçütü tanımladık. Bu ölçütü kullanarak, gizli yanlılıkların gizli entropiye olan etkisini inceledik. Ayrıca en fazla üç gizli birim içeren küçük modellerin gizli entropinin gizli yanlılıkların cinsinden tam analizini sunduk. Daha büyük modeller için betimleyici verimliliğin nasıl davrandığını incelemek için gizli entropiyi yaklaşıklayan Normalize Edilmiş Görgül Entropi (NEGE) ölçütünü tanımladık. MNIST, CIFAR-10 ve Yüzler veri kümeleri üzerinde yapılan deneyler, bu yaklaştırımın betimleyici verimliliğin ölçüsü olarak kullanılabileceğini ve veri kümesini tasvir edebilmek için gereken asgari gizli birim sayısı hakkında fikir verebileceğini göstermektedir.
Özet (Çeviri)
With development of machine learning and deep learning fields, the importance of unsupervised learning algorithms also increases. One of these algorithms is Gaussian-Bernoulli Restricted Boltzmann Machines (GBLRBMs), which are capable of modelling real-valued data. Moreover, GBLRBMs are used to pretrain weights in artificial neural networks, which improves performance of these networks. In this work, we analyze the role of hidden bias in representational efficiency of the Gaussian-Bipolar Restricted Boltzmann Machines (GBPRBMs), which are similar to the widely used Gaussian-Bernoulli RBMs. Our experiments show that hidden bias plays an important role in shaping of the probability density function of the visible units. Correspondingly, we define hidden entropy and propose it as a measure of representational efficiency of the model. By using this measure, we investigate the effect of hidden bias on the hidden entropy and provide a full analysis of the hidden entropy as function of the hidden bias for small models with up to three hidden units. We also provide an insight into understanding of the representational efficiency of the larger scale models. Furthermore, we introduce Normalized Empirical Hidden Entropy (NEHE) as an alternative to hidden entropy that can be computed for large models. Experiments on the MNIST, CIFAR-10 and Faces data sets show that NEHE can serve as measure of representational efficiency and gives an insight on minimum number of hidden units required to represent the data.
Benzer Tezler
- PISA okuma testinin ekolojik modele göre yanlılık analizi: Türkiye örneği
Dif analysis of the pisa reading test according to the ecological model: The example of Turkey
TALHA GÖKTENTÜRK
Doktora
Türkçe
2021
Eğitim ve ÖğretimYıldız Teknik ÜniversitesiTürkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı
PROF. DR. ALİ FUAT ARICI
DOÇ. DR. İBRAHİM DEMİR
- Parabolik oluk tipi güneş kolektörünün analizi ve yararlı ısı tahmini için hibrit bir makine öğrenmesi çerçevesi: Yığınlanmış aşırı öğrenme makinesi-rastgele orman (SELM-RF)modelleri ile tahminlenmesi
Analysis of parabolic trough solar collectors and a hybrid machine learning framework for useful heat gain prediction: stacked extreme learning machine-random forest (SELM-RF)
FERİT SEVEN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolŞırnak ÜniversitesiEnerji Bilimi ve Teknolojileri Ana Bilim Dalı
DOÇ. DR. RASIM ÇEKİK
DR. ÖĞR. ÜYESİ ERHAN KIRTEPE
- Exploiting clustering patterns in training sets to improve classification performance of fully connected layers
Tam bağlantılı katmanların sınıflandırma performansını iyileştirmek için eğitim setlerindeki kümeleme örüntülerinden faydalanma
TOLGA AHMET KALAYCI
Doktora
İngilizce
2023
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. UMUT ASAN
- Artificial neural network-based efficiency estimation and modeling approach in electric vehicle powertrains
Elektrikli güç aktarma sistemlerinde yapay sinir aği tabanli verimlilik tahmini ve modelleme yaklaşimi
AHMET BURAK KAYDECİ
Yüksek Lisans
İngilizce
2026
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. SALİH BARIŞ ÖZTÜRK
- Patlatma kaynaklı yer sarsıntısının farklı regresyon modelleri ve yapay sinir ağı ile kestirimi
Blast induced ground vibration forecasting using different regression models and artificial neural network
TAYLAN ÖZKAN
Yüksek Lisans
Türkçe
2019
Maden Mühendisliği ve Madencilikİstanbul Teknik ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
DOÇ. DR. TÜRKER HÜDAVERDİ