Effect of quantization on the performance of deep networks
Nicelemenin derin ağlara etkisi
- Tez No: 641057
- Danışmanlar: PROF. DR. GÖZDE BOZDAĞI AKAR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Electrical and Electronics Engineering, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin Sinir Ağları, Niceleme, Deep Neural Networks, Quantization
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin sinir ağları son zamanlarda birçok mühendislik problemi için büyük başarı göstermiştir. Ancak derin öğrenme algoritmasının hesaplama gücü ve hafızaya çok fazla gereksinim duyması sebebiyle, sayısı gitgide artan kaynak kısıtlı mobil cihazlar derin sinir ağlarının bu başarısından yararlanamamaktadır. Niceleme bu soruna çözüm olabilecek yöntemlerden birisidir. Bu tez kapsamında, farklı niceleme teknikleri ve bu tekniklerin derin ağlara etkileri incelenmiştir. Bu tekniklerin başarısı ve hafıza gereksinimleri deneylerle incelenmiştir. Nicelemenin etkileri sığ, derin, aşırı parametreli, artık bağlantılı ve verimli modellerde incelenmiştir. Model mimarisine özel sorunlar gözlenmiş ve ilgili çözümler önerilmiştir. Nicelenmiş modeller ve baştan verimli tasarlanmış modeller karşılaştırılmıştır. Bu iki yöntemin avantajları ve dezavantajları incelenmiştir. Bunlara ek olarak standart ve nicelenmiş evrişim işlemi çeşitli sistemlerde gerçeklenmiştir. Bu çeşitli sistemler düşük güç tüketimli gömülü sistemlerden güçlü masaüstü bilgisayar sistemlerine uzanmaktadır. Hesaplama zamanı ve hafıza gereksinimleri deneyleri bu gerçek sistemlerde yapılmış ve sonuçları paylaşılmıştır.
Özet (Çeviri)
Deep neural networks performed greatly for many engineering problems in recent years. However, power and memory hungry nature of deep learning algorithm prevents mobile devices to benefit from the success of deep neural networks. The increasing number of mobile devices creates a push to make deep network deployment possible for resource-constrained devices. Quantization is a solution for this problem. In this thesis, different quantization techniques and their effects on deep networks are examined. The techniques are benchmarked by their success and memory requirements. The effects of quantization are examined for different network architectures including shallow, overparameterized, deep, residual, efficient models. Architecture specific problems are observed and related solutions are proposed. Quantized models are compared with ground-up efficiently designed models. The advantages and disadvantages of each technique are examined. Standard and quantized convolution operations implemented in real systems ranging from low power embedded systems to powerful desktop computer systems. Computation time and memory requirements are examined in these real systems.
Benzer Tezler
- İzmir'de bazı yolların kapatılarak yaya bölgeleri oluşturma da kent peyzajını geliştirme açısından yeniden planlanması üzerinde araştırmalar
Başlık çevirisi yok
BAHAR TÜRKYILMAZ
Yüksek Lisans
Türkçe
1985
Şehircilik ve Bölge PlanlamaEge ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
- Diesel motorları yakıt püskürtme sistemlerinin dinamik simülasyonu
Başlık çevirisi yok
İRFAN KARAGÖZ
Yüksek Lisans
Türkçe
1986
Makine MühendisliğiUludağ ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ BORAT
- Doğuştan kalça çıkıklı hastalarda kalça patolojilerinin bilgisayarlı tomografi ile değerlendirilmesi
Başlık çevirisi yok
NECDET ŞÜKRÜ ALTUN
Tıpta Uzmanlık
Türkçe
1987
Ortopedi ve TravmatolojiGazi ÜniversitesiOrtopedi ve Travmatoloji Ana Bilim Dalı
PROF.DR. ORHAN ASLANOĞLU
- Makro besin elementlerinin (NPK) İzmir'de Mayıs ayında açığa dikilen 4-6 cm çevre büyüklüğündeki Gladiolus cinsine ait“hunting song”ve“Novalüx”kültür çeşitlerinin yumrularının gelişmeleri üzerine etkileri
Başlık çevirisi yok
TAHA ALİ AMEN
Yüksek Lisans
Türkçe
1985
ZiraatEge ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
DOÇ. DR. ADNAN HATİPOĞLU
- Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
- Samsun ve çevresinde tarla sarmaşığı (conuolvulus arvensis L.)'na karşı biyolojik savaşa esas olacak fauna tespiti
Investigations on the insect fauna of the field binweed (Conuolvulus arvensis L.) related to its biological control in Samsun Province
YASEMİN UFUK GERMAN