Memory efficient filtering algorithms for convolutional neural networks
Evrişimli yapay sinir ağları için bellek verimli filtreleme algoritmaları
- Tez No: 654296
- Danışmanlar: PROF. DR. ÖMER MORGÜL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 68
Özet
Xception, ResNet ve GoogleNet gibi en son tasarlanan evrişimli yapay sinir ağı mimarilerinin, kaynak sınırlı cihazlarda kullanılması büyük bir uygulama problemidir. Bu mimariler, fazla sayıda katmandan ve milyonlarca parametreden oluşturmaktadır.Ayrıca, bunlar sadece bir resmi işleyip, sonuçlandırabilmek için milyarlarca kayan nokta operasyonuna ihtiyaç duymaktadır. Dolayısı ile, parametreleri depolamak ve onları kullanmak için gerekli depolama alanları, verimli evrişimli sinir ağı mimarileri için ana kısıtlamalardır. Bu tez çalışmasında, evrişimli katmanlarda gerçekleştirilen kayan nokta işlemlerinin sayısını azaltmak için Winograd'ın minimal filtreleme algoritmalarını inceliyoruz. Herhangi bir doğruluk kaybı olmaksızın, toplam çarpma işlemi sayısını x2.25 kat azaltıyoruz. Dahası, geleneksel Winograd algoritmalarını depolama alanları açısından daha verimli hale getirmek için, seyrek ve nicelenmiş Winograd algoritmalarını inceliyoruz. Ağ parametrelerini 1 bitten fazla nicelemek için doğrusal bir niceleme şeması öneriyoruz. ReLU aktivasyon fonksiyonunu ve terkinimin bir varyasyonu olan hedefli terkinimi Winograd algoritmasının dönüştürülmüş girdilerini seyreltmek için kullanıyoruz. Bir çok aritmetik işlemi, bit tabanlı işlemlere dönüştürmek için parametreleri, -1 veya 1, değerlerini alacak şekilde ikilileştiriyoruz. CIFAR10 ve CIFAR100 veri kümeleri üzerinde farklı deneyler yaparak, geleneksel Winograd algoritmaları ile değişiklik yapılan algoritmalar arasında sınıflandırma performanslarını tartışıyoruz. Geleneksel Winograd algoritması ile karşılaştırıldığında ReLU-ed Winograd algoritması %1.9'den daha düşük sınıflandırma performansı kaybı elde edebiliyoruz. ReLU-ed Winograd algoritmasındaki parametreleri ikilileştirerek, bellek ihtiyacını x32 kat azaltabiliyoruz, karşılığında %2'den daha az sınıflandırma performans kaybı ile karşılaşıyoruz. Son olarak, sınıflandırma performans kaybına karşı düşük toleranslı uygulamalar için parametreleri ikilileştirmek yerine onları 2-bit, 4-bit ve 8-bit olacak şekilde niceliyoruz. Nicelenen parametreler ile eğitilen ReLU-ed Winograd evrişimli sinir ağlarının, nicelenmeyen parametreler ile eğitilen ağ ile benzer sınıflandırma performansına eriştiğini gözlemliyoruz.
Özet (Çeviri)
Deployment of state of the art CNN architectures like Xception, ResNet and GoogleNet in resource limited devices is a big challenge. These architectures consist of many layers and millions of parameters. Moreover, they require billions of floating point operations to inference just an image. Therefore, memory space needed to store parameters and to execute them are the main constraints for efficient convolutional neural network architectures. In this thesis, we examine Winograd's minimal filtering algorithms to reduce number of floating point operations performed in convolutional layers. We reduce the number of multiplications x2.25 times without any accuracy loss. Moreover, we investigate, sparse and quantized Winograd's algorithms so that we can make conventional Winograd algorithms more memory efficient. We propose a linear quantization scheme to quantize weights of the networks more than 1-bit. We use ReLU activation function and Targeted Dropout which is a variant of Dropout to prune transformed inputs of Winograd algorithm. We binarize weights so that most arithmetic operations are converted to bit-wise operations. We conduct several experiments on CIFAR10 and CIFAR100 datasets and discuss the classification performances of both conventional and modified Winograd minimal filtering algorithms. We achieve less than 1.9% classification error with ReLU-ed Winograd CNN compared to conventional Winograd. We reduce memory requirements up to x32 times by binarizing weights of ReLU-ed Winograd CNN, and in return we incur around 2% accuracy loss. Lastly, for applications which are less tolerant to accuracy loss, rather than binarizing weights we quantize them to 2-bit, 4-bit and 8-bit. Our quantized ReLU-ed Winograd CNNs reach same accuracy levels as ReLU-ed Winograd CNN.
Benzer Tezler
- Dikkat eksikliği ve hiperaktivite bozukluğu olan çocukların el yazılarının görüntü işleme teknikleri ile analizi
Analysis of handwriting of children with attention deficit hyperactivity disorder using image processing techniques
ÖZLEM YILDIZ BUDAK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH ADAK
- Breast cancer diagnosis in histopathological images using autoencoder-enhanced convolutional neural network
Histopatolojik görüntülerde meme kanseri teşhisi için otokodlayıcı ile geliştirilmiş evrişimsel sinir ağı kullanımı
İSMAİL İÇME
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Stochastic bitstream-based vision and learning machines
Stokastik bit akışı tabanlı görü ve öğrenme makineleri
SERCAN AYGÜN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ
- CFRP plakalarda delaminasyon hasarının makina öğrenmesi ile tahmin edilmesi
Predicting delamination failure in CFRP composite plates with machine learning algorithms
AMMAR TARIK DİNÇER
Yüksek Lisans
Türkçe
2024
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA BAKKAL
- Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar
Densely connected structures in deep learning based image denoising
VEDAT ACAR
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU