Geri Dön

Effect of quantization on the performance of deep networks

Nicelemenin derin ağlara etkisi

  1. Tez No: 641057
  2. Yazar: BAŞAR KÜTÜKCÜ
  3. Danışmanlar: PROF. DR. GÖZDE BOZDAĞI AKAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Derin Sinir Ağları, Niceleme, Deep Neural Networks, Quantization
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 90

Özet

Derin sinir ağları son zamanlarda birçok mühendislik problemi için büyük başarı göstermiştir. Ancak derin öğrenme algoritmasının hesaplama gücü ve hafızaya çok fazla gereksinim duyması sebebiyle, sayısı gitgide artan kaynak kısıtlı mobil cihazlar derin sinir ağlarının bu başarısından yararlanamamaktadır. Niceleme bu soruna çözüm olabilecek yöntemlerden birisidir. Bu tez kapsamında, farklı niceleme teknikleri ve bu tekniklerin derin ağlara etkileri incelenmiştir. Bu tekniklerin başarısı ve hafıza gereksinimleri deneylerle incelenmiştir. Nicelemenin etkileri sığ, derin, aşırı parametreli, artık bağlantılı ve verimli modellerde incelenmiştir. Model mimarisine özel sorunlar gözlenmiş ve ilgili çözümler önerilmiştir. Nicelenmiş modeller ve baştan verimli tasarlanmış modeller karşılaştırılmıştır. Bu iki yöntemin avantajları ve dezavantajları incelenmiştir. Bunlara ek olarak standart ve nicelenmiş evrişim işlemi çeşitli sistemlerde gerçeklenmiştir. Bu çeşitli sistemler düşük güç tüketimli gömülü sistemlerden güçlü masaüstü bilgisayar sistemlerine uzanmaktadır. Hesaplama zamanı ve hafıza gereksinimleri deneyleri bu gerçek sistemlerde yapılmış ve sonuçları paylaşılmıştır.

Özet (Çeviri)

Deep neural networks performed greatly for many engineering problems in recent years. However, power and memory hungry nature of deep learning algorithm prevents mobile devices to benefit from the success of deep neural networks. The increasing number of mobile devices creates a push to make deep network deployment possible for resource-constrained devices. Quantization is a solution for this problem. In this thesis, different quantization techniques and their effects on deep networks are examined. The techniques are benchmarked by their success and memory requirements. The effects of quantization are examined for different network architectures including shallow, overparameterized, deep, residual, efficient models. Architecture specific problems are observed and related solutions are proposed. Quantized models are compared with ground-up efficiently designed models. The advantages and disadvantages of each technique are examined. Standard and quantized convolution operations implemented in real systems ranging from low power embedded systems to powerful desktop computer systems. Computation time and memory requirements are examined in these real systems.

Benzer Tezler

  1. Nicelenmiş derin öğrenme ağları için FPGA tabanlı hızlandırıcı tasarımı

    FPGA-based accelerator design for quantized deep learning networks

    MUSTAFA TAŞCI

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBalıkesir Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. AYHAN İSTANBULLU

  2. A new approach for the determination of trace heavy metals in hair dyeing cosmetics

    Saç boyama kozmetiklerindeki eser düzey ağır metallerin tayini için yeni bir yaklaşım

    MAHA ABDULATTEEF YAHYA YAHYA

    Doktora

    İngilizce

    İngilizce

    2021

    KimyaHacettepe Üniversitesi

    Kimya Ana Bilim Dalı

    PROF. DR. ÇİĞDEM ARPA ÇALIŞIR

  3. DSP tabanlı bir sistem ile anahtarlamalı relüktans motorunun kontrolu

    DSP based control of switched reluctance motor

    İZEL ÇİPRUT

    Yüksek Lisans

    Türkçe

    Türkçe

    1994

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    PROF.DR. R. NEJAT TUNCAY

  4. Optimization of Doppler processing by using bank of matched filters

    Doppler işleminin uyumlu süzgeç öbeği kullanılarak eniyileştirilmesi

    ONUR AKTOP

    Yüksek Lisans

    İngilizce

    İngilizce

    2005

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. YALÇIN TANIK

  5. Medium-aware inference for wireless sensornetworks

    Telsiz algıç ağları için ortam gözeterek çıkarsama

    MUATH ABED ALRAUF WAHDAN

    Doktora

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik Mühendisliğiİzmir Yüksek Teknoloji Enstitüsü

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA AZİZ ALTINKAYA