Early-exit convolutional neural networks
Erken-sonlandırmalı evrişimsel sinir ağları
- Tez No: 536148
- Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, evrişimsel yapay sinir ağlarının (CNN) kestirim sırasında harcadığı hesaplama maliyetini azaltan bir yöntem geliştirmeyi amaçlamaktadır. Geleneksel evrişimsel yapay sinir ağlarında, veriler sabit bir sinir ağı mimarisinden geçer. Aslında, tüm mimariden geçen kolay örnekler işlemenin erken aşamalarında sınıflandırılabilir ve geleneksel ağlar bu durumu dikkate almaz. Bu çalışmada, belirli çıkış noktalarında kestirim sürecini durdurup, hesaplama maliyetini girdiye dayalı olarak uyarlayan“Erken-sonlandırmalı Evrişimsel Yapay Sinir Ağlarını”, kısaca EENetleri tanıtacağız. EENetlerde, her biri güvenirlik ve softmax çıkışlarından oluşan bir çok erken sonlandırma bloğu vardır. Güvenirlik çıkışı, herhangi bir sonlandırma noktasında modelden çıkmanın (yani kestirim sürecini durdurmanın) güven skorunu hesaplar; softmax çıkışı ise sınıflandırmanın olasılık vektörünü üretir. Her iki çıkış dalı da öğrenilebilir ve birbirinden bağımsızdır. EENetlerin eğitimi sırasında, klasik sınıflandırma kaybına ek olarak, sonuç çıkarmanın hesaplama maliyeti de dikkate alınır. Sonuç olarak, önerdiğimiz sinir ağı güvenirlik çıkışlarında girdileri işler ve sonlandırabilir, böylece kolay örnekler için daha az hesaplama yapılır. Kestirim, geleneksel ağlardaki ileri besleme gibi çalışır, ancak bir güvenirlik çıkış dalındaki güven skoru belirli bir eşikten daha büyük olduğunda, kestirim bu örnek için tamamlanır ve hesaplama sonlandırılır. Kapsamlı deneyler sayesinde, EENetlerin test doğruluğuna zarar vermeden hesaplama maliyetini orjinal modelin %2'sine kadar azalttığını gösteriyoruz. EENet fikri, ResNetler gibi mevcut CNN mimarilerine uygulanabilir. MNIST, SVHN ve CIFAR10 veri setlerinde, erken çıkışlı (EE) ResNetler, EE olmayan sürümleriyle benzer bir doğruluk elde ederken hesaplama maliyetini orjinal modelin %20'sine kadar azalttığı görülmüştür.
Özet (Çeviri)
This thesis is aimed at developing a method that reduces the computational cost of convolutional neural networks (CNN) during inference. Conventionally, the input data pass through a fixed neural network architecture. However, easy examples can be classified at early stages of processing and conventional networks do not take this into account. In this thesis, we introduce“Early-exit CNNs”, EENets for short, which adapt their computational cost based on the input by stopping the inference process at certain exit locations. In EENets, there are a number of exit blocks each of which consists of a confidence branch and a softmax branch. The confidence branch computes the confidence score of exiting (i.e. stopping the inference process) at that location; while the softmax branch outputs a classification probability vector. Both branches are learnable and they are independent of each other. During training of EENets, in addition to the classical classification loss, the computational cost of inference is taken into account as well. As a result, the network adapts its many confidence branches to the inputs so that less computation is spent for easy examples. Inference works as in conventional feed-forward networks, however, when the output of a confidence branch is larger than a certain threshold, the inference stops for that specific example. Through comprehensive experiments, we show that EENets significantly reduce the computational cost upto 2% of the original without degrading the testing accuracy. The idea of EENets is applicable to available CNN architectures such as ResNets. On MNIST, SVHN and CIFAR10 datasets, early-exit (EE) ResNets achieve similar accuracy with their non-EE versions while reducing the computational cost to 20% of the original.
Benzer Tezler
- Derin öğrenme yöntemleri kullanarak EKG görüntülerinden COVID-19'un tespit edilmesi
Detecting COVID-19 from ECG images using deep learning methods
NİDA AKKUZU
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KAYA
- U-net architecture optimization for optic disc segmentation in retinal images
Retina görüntülerinde optik disk bölütleme için U-net mimarisi optimizasyonu
ZAFER ERDOĞAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- A learning-centric end-to-end hybrid system for in-situ thermographic inspection in automated fiber placement
Otomatik fiber yerleştirmede yerinde termal denetim için öğrenme tabanlı uçtan uca hibrit bir sistem
MUHAMMED ZEMZEMOĞLU
Doktora
İngilizce
2025
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ÜNEL
- CAED-HTTP: Contrastive-adversarial early-exit DistilBERT forrobust HTTP attack detection
CAED-HTTP: Sağlam HTTP saldırı tespiti için karşılaştırmalı-adversaryal erken çıkışlı DistilBERT
MUSTAFA VAHABZADEH DOLAMA
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBeykoz ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ENSAR GÜL
- Metallerin talaşlı şekillendirilmesinde takımın giriş ve çıkış etkileri
The Tool entry and exit effects in the chip - removal process of the metals
BARIŞ YAŞAR
Yüksek Lisans
Türkçe
2003
Makine MühendisliğiYıldız Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ERHAN ALTAN