Effect of quantization on the performance of deep networks
Nicelemenin derin ağlara etkisi
- Tez No: 641057
- Danışmanlar: PROF. DR. GÖZDE BOZDAĞI AKAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Derin Sinir Ağları, Niceleme, Deep Neural Networks, Quantization
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 90
Özet
Derin sinir ağları son zamanlarda birçok mühendislik problemi için büyük başarı göstermiştir. Ancak derin öğrenme algoritmasının hesaplama gücü ve hafızaya çok fazla gereksinim duyması sebebiyle, sayısı gitgide artan kaynak kısıtlı mobil cihazlar derin sinir ağlarının bu başarısından yararlanamamaktadır. Niceleme bu soruna çözüm olabilecek yöntemlerden birisidir. Bu tez kapsamında, farklı niceleme teknikleri ve bu tekniklerin derin ağlara etkileri incelenmiştir. Bu tekniklerin başarısı ve hafıza gereksinimleri deneylerle incelenmiştir. Nicelemenin etkileri sığ, derin, aşırı parametreli, artık bağlantılı ve verimli modellerde incelenmiştir. Model mimarisine özel sorunlar gözlenmiş ve ilgili çözümler önerilmiştir. Nicelenmiş modeller ve baştan verimli tasarlanmış modeller karşılaştırılmıştır. Bu iki yöntemin avantajları ve dezavantajları incelenmiştir. Bunlara ek olarak standart ve nicelenmiş evrişim işlemi çeşitli sistemlerde gerçeklenmiştir. Bu çeşitli sistemler düşük güç tüketimli gömülü sistemlerden güçlü masaüstü bilgisayar sistemlerine uzanmaktadır. Hesaplama zamanı ve hafıza gereksinimleri deneyleri bu gerçek sistemlerde yapılmış ve sonuçları paylaşılmıştır.
Özet (Çeviri)
Deep neural networks performed greatly for many engineering problems in recent years. However, power and memory hungry nature of deep learning algorithm prevents mobile devices to benefit from the success of deep neural networks. The increasing number of mobile devices creates a push to make deep network deployment possible for resource-constrained devices. Quantization is a solution for this problem. In this thesis, different quantization techniques and their effects on deep networks are examined. The techniques are benchmarked by their success and memory requirements. The effects of quantization are examined for different network architectures including shallow, overparameterized, deep, residual, efficient models. Architecture specific problems are observed and related solutions are proposed. Quantized models are compared with ground-up efficiently designed models. The advantages and disadvantages of each technique are examined. Standard and quantized convolution operations implemented in real systems ranging from low power embedded systems to powerful desktop computer systems. Computation time and memory requirements are examined in these real systems.
Benzer Tezler
- Nicelenmiş derin öğrenme ağları için FPGA tabanlı hızlandırıcı tasarımı
FPGA-based accelerator design for quantized deep learning networks
MUSTAFA TAŞCI
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBalıkesir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYHAN İSTANBULLU
- İsaretçi takibi ile PnP tabanlı 6DoF poz tahminive CFD simülasyon karşılaştırması
PnP-based 6DoF pose estimation with marker trackingand CFD simulation comparison
YUSUF DEMİREL
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik-Haberleşme Eğitimi Ana Bilim Dalı
DOÇ. DR. MEHMET NURİ AKINCI
- Dijital karbon ayak izinin optimizasyonu için uç cihazlarda yapay zeka ve makine öğrenmesi uygulamaları
Artificial intelligence and machine learning applications on edge devices for digital carbon footprint optimization
ÇAĞLAR ŞİMŞEK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH ÇALLI
- A new approach for the determination of trace heavy metals in hair dyeing cosmetics
Saç boyama kozmetiklerindeki eser düzey ağır metallerin tayini için yeni bir yaklaşım
MAHA ABDULATTEEF YAHYA YAHYA
- Brivarasetam tablet formülasyonu geliştirme aşamasında kullanılan analitik yöntemler ve validasyonu
Analytical methods and validation used in the development of Brivaracetam tablet formulation
HAMZA SOFİYEV
Doktora
Türkçe
2024
Eczacılık ve Farmakolojiİstanbul ÜniversitesiAnalitik Kimya Ana Bilim Dalı
PROF. DR. DURİŞEHVAR ÖZER ÜNAL
