Exploiting spatial redundancy in feature maps to accelerate convolutional neural networks
Evrişimli sinir ağlarını hızlandırmak için özellik haritalarındaki uzamsal fazlalıktan yararlanma
- Tez No: 891921
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ, PROF. DR. FATOŞ TUNAY YARMAN VURAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 78
Özet
Bilgisayarlı görü alanı, evrişimli sinir ağlarının (CNN'lerin) ortaya çıkmasıyla önemli ölçüde değişmiştir. O zamandan bu yana, CNN'ler resim sınıflandırma, nesne tanıma ve örnek bölütleme gibi çeşitli görevlerde önceki yöntemlerden daha üstün performans elde etmiştir. Bununla birlikte, hesaplama açısından yoğun olmaları ve önemli miktarda hesaplama kaynakları gereksinimleri, sınırlı donanıma sahip cihazlarda kullanılmalarını engellemektedir. Dahası, enerji tüketimleri ve karbon ayak izleri önemli bir sorun haline gelmiştir. Bunun sonucunda, araştırmacılar CNN'leri hızlandırmak için birçok yöntem geliştirmiştir. Bu çalışmada, CNN'lerin evrişim katmanlarını hızlandırmak için özellik haritasında fazlalık olarak değerlendirilen parçaları işlemeyi es geçen Fazlalık Farkında Evrişim (RAConv) adı verilen yeni bir evrişim işlemi türü öneriyoruz. Önerilen yöntemi test etmek için, ilk olarak VGG-11 modelini Imagenette veri kümesi üzerinde temel model olarak eğitiyoruz. Ardından, VGG-11'in bir veya daha fazla evrişim katmanını RAConv katmanlarıyla değiştiriyor, modeli aynı üst değişkenlerle eğitiyor ve işlemci üzerindeki çıkarsama performanslarını karşılaştırıyoruz. Deneysel sonuçlar, tek bir katmanın doğrulukta bir düşüş olmadan 2,7 kat hızlanma elde ettiğini ve birden fazla katmanın doğrulukta yüzde 0,9'luk bir düşüşle 1,2 kat genel hızlanma elde ettiğini göstermektedir.
Özet (Çeviri)
The field of computer vision has changed dramatically with the advent of convolutional neural networks (CNNs). Since then, they have achieved superior performance than previous methods in various tasks, such as image classification, object detection, and instance segmentation. However, they are computationally intensive and require significant computational resources, which hinders their deployment on devices with limited hardware. Moreover, their energy consumption and carbon footprint have become an important issue. As a result, researchers have come up with many methods for accelerating CNNs. In this study, we propose a new type of convolution operation called Redundancy-Aware Convolution (RAConv), which skips processing patches in the feature map that are considered redundant to accelerate convolutional layers of CNNs. To test the proposed method, we first train the VGG-11 model on the Imagenette dataset as the baseline model. Then, we replace one or more convolutional layers of VGG-11 with RAConv layers, train the model with the same hyperparameters, and compare their inference performance on the CPU. The experimental results show that an individual layer achieves a speedup of 2.7x without a drop in accuracy, and multiple layers achieve an overall speedup of 1.2x with a drop of 0.9% in accuracy.
Benzer Tezler
- Özellik seçimi algoritmaları kullanılarak heyelanda etkili faktörlerin belirlenmesi ve heyelan duyarlılık haritalarının üretilmesi
Determination of effective factors using feature selection algorithms and production of landslide susceptibility maps
EMREHAN KUTLUĞ ŞAHİN
Doktora
Türkçe
2017
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. CENGİZHAN İPBÜKER
PROF. DR. TAŞKIN KAVZOĞLU
- An energy-efficient real-time coordination and routing framework for wireless sensor actor networks
Sensör ve aktör ağları için enerji-etkin koşum-zamanı koordinasyon ve yol verme çerçevesi
GHALİB ASADULLAH SHAH
Doktora
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MÜSLİM BOZYİGİT
- Design and performance analysis of enhanced network coded cooperative communication systems
Gelişmiş ağ kodlamalı işbirlikli haberleşme sistemlerinin tasarımı ve performans analizi
RIDA KHAN
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. İBRAHİM ALTUNBAŞ
- Index modulation based designs, error performance and physical layer security analyses for unmanned aerial vehicle networks
İnsansız hava aracı ağları için indis modülasyonu tabanlı tasarımlar, hata performansı ve fiziksel katman güvenlik analizleri
AYŞE BETÜL BÜYÜKŞAR
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik-Haberleşme Eğitimi Ana Bilim Dalı
PROF. DR. İBRAHİM ALTUNBAŞ
- Event distortion based clustering algorithm for energy harvesting wireless sensor networks
Enerji toplayan kablosuz sensör ağları için olay bozulmasına dayalı kümelenme algoritması
ALİ MUDHEHER RAGHIB KAFI AL-QAMAJI
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİzmir Yüksek Teknoloji EnstitüsüElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. BARIŞ ATAKAN