İkili ağırlıklı ağ ve XNOR-ağ ikilileştirilmiş evrişimsel derin sinir ağlarının analizi
Analysis of binary weighted network and XNOR-net binarized convolutional deep neural networks
- Tez No: 765930
- Danışmanlar: DOÇ. DR. HALİFE KODAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Konya Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
Evrişimsel derin sinir ağları (ESA), çoğunlukla görüntü tanıma ve görüntü tespiti işlemlerinde kullanılmakta ve etkileyici performanslar göstermektedir. ESA modellerinin boyutları gün geçtikçe daha da genişlemektedir. Bu sayede başarıları dolaylı olarak artırmakla beraber yüksek olan parametre sayıları, bellek ve işlem maliyetleri de artmaktadır. Bu yüksek bellek ve işlem maliyetinden dolayı gömülü sistemler, mobil aygıtlar, IoT (Nesnelerin İnterneti) gibi kısıtlı donanımlarda uygulanmasında problemler meydana gelmektedir. Bu problemler için çeşitli çözüm yolları geliştirilmektedir. ESA'ların yüksek olan bellek ve işlem maliyetlerini azaltmak için ortaya sunulmuş yöntemlerden birisi ağı ikilileştirmektir. ESA'ların büyük bir çoğunluğunun efektif çalışabilmesi için GPU'lar (Grafik İşlem Birimi) gereklidir. Tek başına CPU'lar (Merkezi İşlem Birimi) yeterli olamamaktadır. İkilileştirilmiş yapay derin sinir ağları, GPU bağımlılığına çözüm sunulabilmekte ve orta – düşük performanslı CPU'larda da ESA'ların çalışmasına olanak sağlanabilmektedir. Bu çalışmada, ağ ikilileştirme yöntemlerinden olan İkili Ağırlıklı Ağ (İAA) ve XNOR-Ağ yapıları incelenmiştir. CIFAR-10, CIFAR-100, MNIST ve SVHN veri setleri kullanılarak LeNet-5, AlexNet, VGG modelleri ve bu çalışma için özelleştirilmiş ağ modelleri ile belirtilen algoritmalar test edilmiştir. Klasik ondalıklı parametrelere sahip ağlarla doğruluk, işlem hızı, bellek maliyeti, enerji tüketimi gibi kriterler temel alınarak karşılaştırmaları yapılmıştır. XNOR-Ağ ile ESA'lar yaklaşık 58 kat daha hızlı çalışmaktadır. Hem XNOR-Ağ hem de İAA ile tek duyarlıklı kayan noktalı formata göre 32 kat, çift duyarlıklı kayan noktalı formata göre 64 kat bellek tasarrufu sağlanmaktadır.
Özet (Çeviri)
Convolutional deep neural networks (CNN) are mostly used in image recognition and image detection processes and show impressive performances. The dimensions of CNN models are expanding day by day. In this way, while relatively increasing the successes, the high number of parameters, memory and transaction costs also increase. Due to this high memory and processing cost, problems occur in the limited hardware such as application of embedded systems, mobile devices, and IoT (Internet of Things). Various solutions are developed for these problems. One of the methods introduced to reduce the high memory and processing costs of the CNNs is to binarize the network. GPU (Graphic Processing Unit) is required for most of the CNNs to work effectively. Only CPU (Central Processing Unit) is not enough. Binarized artificial deep neural networks can be solved for GPU dependency and make possible to operate the CNNs in mid - low performance CPUs. In this study, BWN (Binary Weighted Network) and XNOR-NET binarized neural network structures are examined. LeNet-5, AlexNet, VGG models and the models which specialized for this study were tested using CIFAR-10, CIFAR-100, MNIST and SVHN datasets. Comparisons were made with networks with classical decimal parameters based on criteria such as accuracy, processing speed, memory cost and energy consumption. CNNs work approximate 58 times faster with XNOR-NET. With both XNOR-NET and BWN, it is provided with 32 times memory saving compared to single precision floating point format and 64 times memory saving compared double precision floating point format.
Benzer Tezler
- Analitik ağ süreci (anp) ve ağırlıklı aksiyomatik tasarım ile hızlı tüketim malları sektöründe bir uygulama
Analytic network process (anp) and axiomatic design and a case study in fast moving consumer goods inductry
DUYGU DİYAROĞLU
Yüksek Lisans
Türkçe
2018
Endüstri ve Endüstri MühendisliğiKocaeli ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ZERRİN ALADAĞ
- Implementations of novel cellular nonlinear and cellular logic networks and their applications
Yeni hücresel doğrusal olmayan ve hücresel lojik ağların gerçeklemeleri ve uygulamaları
RAMAZAN YENİÇERİ
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MÜŞTAK ERHAN YALÇIN
- Sosyal ağlarda davranış benzerlikleri üzerine teorik bir inceleme: Ön seçilim ve sosyalleşme etkileri
A theoretical investigation of behavioral similarities in social networks: Selection and socialization
MURAT ALİ ÇENGELCİ
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- İki noktalı kırmızı örümcek [Tetranychus urticae (Acari: tetranychidae)] ağının yapısal karakterizasyonu
Structural characterisation of the silk of two-spotted spider mite [Tetranychus urticae (Acari: tetranychidae)]
MUSTAFA ÇAĞLAR
Yüksek Lisans
Türkçe
2017
BiyolojiErzincan ÜniversitesiBiyoloji Ana Bilim Dalı
PROF. DR. SALİH DOĞAN
DOÇ. DR. ÇAĞRI ÇIRAK