Quantized backpropagation for sparse transfer learning
Başlık çevirisi mevcut değil.
- Tez No: 853525
- Danışmanlar: PROF. R. M. PUSCHEL, PROF. T. PEGOLOTTİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Eidgenössische Technische Hochschule Zürich (ETH)
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 61
Özet
Neural networks are growing at exponential rates. It is becoming more resource intensive and time consuming to train and deploy more sophisticated models. In order to alleviate this issue, many model compression methods have been developed. These methods make model development both faster and cheaper. Two such methods are quantization and pruning. Unfortunately, most quantization and pruning methods remain theoretical without system support. This thesis introduces a high-performance library with quantized and sparse kernels to speed up neural network finetuning. Our library provides efficient versions of the backpropagation algorithm for linear and convolutional modules. Our algorithms apply to unstructured sparsity and implement 8-bit integer quantization kernels for forward and backward passes. Models trained using our framework provide up to 2x-4x speed ups while halving the memory allocation with acceptable accuracy loss.
Özet (Çeviri)
Özet çevirisi mevcut değil.
Benzer Tezler
- Görüntü sınıflandırması için yapay sinir ağlarının analiz ve optimizasyonu
Analysis and optimization of artificial neural networks for image classification
OZAN ARSLAN
Doktora
Türkçe
2001
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiPROF. DR. OĞUZ MÜFTÜOĞLU
PROF. DR. CANKUT ÖRMECİ
- Design and deployment of deep learning based fuzzy logicsystems
Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması
AYKUT BEKE
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Lojistik sektörü karayolu taşımacılığında dinamik fiyat tahmin sisteminin tasarlanması
Designing dynamic forecasting system for truckload market pricing in logistics sector
AYŞENUR BUDAK
Doktora
Türkçe
2017
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. ALP ÜSTÜNDAĞ
- Kapalı Robertson-Walker evreninde kuantize edilmiş skaler alanın enerji-momentum tensörü
Quantized energy-momentum tensor for a scalar field in closed Robertson-Walker universe
HÜSNÜ EŞİYOK
Yüksek Lisans
Türkçe
2011
Fizik ve Fizik MühendisliğiTrakya ÜniversitesiFizik Ana Bilim Dalı
DOÇ. DR. MUSTAFA ÖZCAN
- Quantized feedback control of autonomous robots
Otonom robotların nicemlenmiş geribeslemeli kontrolü
ONUR ŞENCAN
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ