Geri Dön

Exploiting spatial redundancy in feature maps to accelerate convolutional neural networks

Evrişimli sinir ağlarını hızlandırmak için özellik haritalarındaki uzamsal fazlalıktan yararlanma

  1. Tez No: 891921
  2. Yazar: MUHAMMED YASİN ULAŞ
  3. Danışmanlar: DOÇ. DR. EMRE AKBAŞ, PROF. DR. FATOŞ TUNAY YARMAN VURAL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 78

Özet

Bilgisayarlı görü alanı, evrişimli sinir ağlarının (CNN'lerin) ortaya çıkmasıyla önemli ölçüde değişmiştir. O zamandan bu yana, CNN'ler resim sınıflandırma, nesne tanıma ve örnek bölütleme gibi çeşitli görevlerde önceki yöntemlerden daha üstün performans elde etmiştir. Bununla birlikte, hesaplama açısından yoğun olmaları ve önemli miktarda hesaplama kaynakları gereksinimleri, sınırlı donanıma sahip cihazlarda kullanılmalarını engellemektedir. Dahası, enerji tüketimleri ve karbon ayak izleri önemli bir sorun haline gelmiştir. Bunun sonucunda, araştırmacılar CNN'leri hızlandırmak için birçok yöntem geliştirmiştir. Bu çalışmada, CNN'lerin evrişim katmanlarını hızlandırmak için özellik haritasında fazlalık olarak değerlendirilen parçaları işlemeyi es geçen Fazlalık Farkında Evrişim (RAConv) adı verilen yeni bir evrişim işlemi türü öneriyoruz. Önerilen yöntemi test etmek için, ilk olarak VGG-11 modelini Imagenette veri kümesi üzerinde temel model olarak eğitiyoruz. Ardından, VGG-11'in bir veya daha fazla evrişim katmanını RAConv katmanlarıyla değiştiriyor, modeli aynı üst değişkenlerle eğitiyor ve işlemci üzerindeki çıkarsama performanslarını karşılaştırıyoruz. Deneysel sonuçlar, tek bir katmanın doğrulukta bir düşüş olmadan 2,7 kat hızlanma elde ettiğini ve birden fazla katmanın doğrulukta yüzde 0,9'luk bir düşüşle 1,2 kat genel hızlanma elde ettiğini göstermektedir.

Özet (Çeviri)

The field of computer vision has changed dramatically with the advent of convolutional neural networks (CNNs). Since then, they have achieved superior performance than previous methods in various tasks, such as image classification, object detection, and instance segmentation. However, they are computationally intensive and require significant computational resources, which hinders their deployment on devices with limited hardware. Moreover, their energy consumption and carbon footprint have become an important issue. As a result, researchers have come up with many methods for accelerating CNNs. In this study, we propose a new type of convolution operation called Redundancy-Aware Convolution (RAConv), which skips processing patches in the feature map that are considered redundant to accelerate convolutional layers of CNNs. To test the proposed method, we first train the VGG-11 model on the Imagenette dataset as the baseline model. Then, we replace one or more convolutional layers of VGG-11 with RAConv layers, train the model with the same hyperparameters, and compare their inference performance on the CPU. The experimental results show that an individual layer achieves a speedup of 2.7x without a drop in accuracy, and multiple layers achieve an overall speedup of 1.2x with a drop of 0.9% in accuracy.

Benzer Tezler

  1. Özellik seçimi algoritmaları kullanılarak heyelanda etkili faktörlerin belirlenmesi ve heyelan duyarlılık haritalarının üretilmesi

    Determination of effective factors using feature selection algorithms and production of landslide susceptibility maps

    EMREHAN KUTLUĞ ŞAHİN

    Doktora

    Türkçe

    Türkçe

    2017

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. CENGİZHAN İPBÜKER

    PROF. DR. TAŞKIN KAVZOĞLU

  2. An energy-efficient real-time coordination and routing framework for wireless sensor actor networks

    Sensör ve aktör ağları için enerji-etkin koşum-zamanı koordinasyon ve yol verme çerçevesi

    GHALİB ASADULLAH SHAH

    Doktora

    İngilizce

    İngilizce

    2007

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MÜSLİM BOZYİGİT

  3. Design and performance analysis of enhanced network coded cooperative communication systems

    Gelişmiş ağ kodlamalı işbirlikli haberleşme sistemlerinin tasarımı ve performans analizi

    RIDA KHAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. İBRAHİM ALTUNBAŞ

  4. Index modulation based designs, error performance and physical layer security analyses for unmanned aerial vehicle networks

    İnsansız hava aracı ağları için indis modülasyonu tabanlı tasarımlar, hata performansı ve fiziksel katman güvenlik analizleri

    AYŞE BETÜL BÜYÜKŞAR

    Doktora

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik-Haberleşme Eğitimi Ana Bilim Dalı

    PROF. DR. İBRAHİM ALTUNBAŞ

  5. Event distortion based clustering algorithm for energy harvesting wireless sensor networks

    Enerji toplayan kablosuz sensör ağları için olay bozulmasına dayalı kümelenme algoritması

    ALİ MUDHEHER RAGHIB KAFI AL-QAMAJI

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik Mühendisliğiİzmir Yüksek Teknoloji Enstitüsü

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    Assoc. Prof. Dr. BARIŞ ATAKAN