Quantized backpropagation for sparse transfer learning
Başlık çevirisi mevcut değil.
- Tez No: 853525
- Danışmanlar: PROF. R. M. PUSCHEL, PROF. T. PEGOLOTTİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Eıdgenossısche Technısche Hochschule Zurıch (eth)
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Neural networks are growing at exponential rates. It is becoming more resource intensive and time consuming to train and deploy more sophisticated models. In order to alleviate this issue, many model compression methods have been developed. These methods make model development both faster and cheaper. Two such methods are quantization and pruning. Unfortunately, most quantization and pruning methods remain theoretical without system support. This thesis introduces a high-performance library with quantized and sparse kernels to speed up neural network finetuning. Our library provides efficient versions of the backpropagation algorithm for linear and convolutional modules. Our algorithms apply to unstructured sparsity and implement 8-bit integer quantization kernels for forward and backward passes. Models trained using our framework provide up to 2x-4x speed ups while halving the memory allocation with acceptable accuracy loss.
Özet (Çeviri)
Özet çevirisi mevcut değil.
Benzer Tezler
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- Görüntü sınıflandırması için yapay sinir ağlarının analiz ve optimizasyonu
Analysis and optimization of artificial neural networks for image classification
OZAN ARSLAN
Doktora
Türkçe
2001
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiPROF. DR. OĞUZ MÜFTÜOĞLU
PROF. DR. CANKUT ÖRMECİ
- Design and deployment of deep learning based fuzzy logicsystems
Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması
AYKUT BEKE
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Yer üstü platformlara monte edilebilecek sentetik açıklıklı radar sistemi oluşturulması ve gerçek karasal radar görüntülerinin elde edilmesi
Construction of synthetic aperture radar system for ground platforms and obtaining real terrestrial radar images
ENES YİĞİT
Doktora
Türkçe
2013
Elektrik ve Elektronik MühendisliğiMersin ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. CANER ÖZDEMİR
- Lojistik sektörü karayolu taşımacılığında dinamik fiyat tahmin sisteminin tasarlanması
Designing dynamic forecasting system for truckload market pricing in logistics sector
AYŞENUR BUDAK
Doktora
Türkçe
2017
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. ALP ÜSTÜNDAĞ