Unsupervised routing strategies for conditional deep neural networks
Koşullu derin sinir ağları için gözetimsiz yönlendirme yöntemleri
- Tez No: 731395
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 60
Özet
Derin evrişimli sinir ağları, imge sınıflandırma probleminde yüksek performansları nedeniyle en gelişmiş çözümler olarak kabul ediliyor. En belirgin dezavantajları, tek bir girdiyi işlemek için gereken yüksek işlem gücü ihtiyaçları. Gerekli iş gücünü azaltabilmek için, bir girdiyi sinir ağının hesaplama birimlerinin yalnızca belli bir alt kümesini kullanarak işlemeyi öğrenen koşullu hesaplama yöntemleri bulunmakta. Girdileri yönlendirerek derin bir sinir ağının yalnızca bir bölümünü kullanmayı öğrenmenin birçok avantajı var. İlk olarak, işlem yükünü azaltmanın büyük bir fayda sağlayacağı aşikardır. Ayrıca, benzer özelliklere sahip imgeler aynı yola yönlendirilirse, ağın belli bir kısmı bu sınıflar arasındaki daha ince farklılıkları ayırt etmeyi öğrenir ve bu da daha az parametre ve işlem gücü ile daha iyi sınıflandırma başarımı sağlar. Yapay sinir ağının belli bir girdi karşısındaki aktivasyonlarını inceleyebilmek, sinir ağının tahminlerini yorumlamaya yardımcı olabilir. Son zamanlarda bazı çalışmalar, ağaç şeklindeki ağları kullanan veya bir düğümün belirli bir çocuğunu seçerek ağın bazı parçalarını es geçmeyi öğrenen koşullu öğrenim modelleri önerdi. Bu tezde, derin bir sinir ağında belirli yolları kullanmayı öğrenmek için kafes yapısı temelli yeni bir yaklaşım izledik. Ayrıca, bir imge için bir katman bloğundaki birimlerin hangi alt kümesinin kullanılacağını öğrenen denetimsiz türevlenebilir bilgi kazanımı tabanlı bir yitim fonksiyonu kullanan yeni bir mekanizma tasarladık. Yöntemimize Koşullu Denetimsiz Bilgi Kazanımı Kafesi (CUTE) diyoruz. Denetimsiz bilgi kazanımı tabanlı yitim fonksiyonumuzun kümeleme başarımını farklı senaryolarda teste tabi tuttuk. Son olarak, Fashion MNIST veri kümesi üzerinde CUTE mimarimizi denedik. İşlem gücünün yalnızca bir kısmını kullanan koşullu öğrenim mekanizmamızın, koşullu öğrenme kullanmayan referans modellere karşı karşılaştırılabilir veya onlardan daha iyi başarım sağladığını gösterdik.
Özet (Çeviri)
Deep convolutional neural networks are considered state-of-the-art solutions due to their high classification performance in image classification tasks. The apparent drawback is the amount of computing power required to process a single input. To deal with this, this thesis proposes a conditional computation method that learns to process an input using only a subset of the network's computation units. Learning to execute only a part of a deep neural network by routing individual samples has several advantages. Firstly, it is beneficial to lower the computational burden. Furthermore, if images with similar semantic features are routed to the same path, that part of the network learns to discriminate finer differences among this subset of classes, resulting in improved classification accuracy with fewer parameters and computational resources. Investigating the network's activation on a single sample can also help interpret the neural network's prediction. Several works have recently exploited this idea using tree-shaped networks or taking a particular child of a node and skipping parts of a network. In this thesis, we follow a trellis-based approach for generating specific execution paths in a deep neural network. We have also designed a routing mechanism that uses unsupervised differentiable information gain-based cost functions to determine which subset of units in a layer block will be executed for a sample. We call our method Conditional Unsupervised Information Gain Trellis (CUTE). We tested the clustering performance of our unsupervised information gain-based objective function under different scenarios. Finally, we tested the classification performance of our trellis-shaped CUTE network on the Fashion MNIST dataset. We show that our conditional execution mechanism achieves comparable or better model performance than unconditional baselines, using only a fraction of the computational resources.
Benzer Tezler
- Grup teknolojisi imalat sistemleri tasarımı için bir metodoloji ve bu metodolojinin endüstride uygulanması
Başlık çevirisi yok
NEVİN AYDIN
Doktora
Türkçe
1998
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. M. BÜLENT DURMUŞOĞLU
- Machine learning and mathematical programming based hybrid solution proposal for capacitated vehicle routing problem
Kapasiteli araç rotalama problemi için makine öğrenmesi ve matematiksel programlama temelli hibrid bir çözüm önerisi
ÖZGÜR SANLI
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri MühendisliğiEskişehir Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZÜHAL KARTAL
- BGP anomaly detection using association rule mining algorithms
İlişkilendirme kuralı madenciliği algoritmasını kullanarak BGP anomali tespiti
MUBAARAK ABDULLAH AL-TAMIMI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZAFER ALBAYRAK
- Kablosuz algılayıcı ağlarda makine öğrenmeye dayalı enerji verimliliği ve güvenlik teknikleri
Machine learning based energy efficiency and securitytechniques for wireless sensor networks
ANEEQA MUMREZ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Üniversitesi-CerrahpaşaElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TARIK VELİ MUMCU
- Artificial intelligence based and digital twin enabled aeronautical AD-HOC network management
Yapay zeka tabanlı ve dijital ikiz destekli geçici havasal ağ yönetimi
TUĞÇE BİLEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BERK CANBERK