Geri Dön

Quantized backpropagation for sparse transfer learning

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 853525
  2. Yazar: BERKE EGELİ
  3. Danışmanlar: PROF. R. M. PUSCHEL, PROF. T. PEGOLOTTİ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Eidgenössische Technische Hochschule Zürich (ETH)
  10. Enstitü: Yurtdışı Enstitü
  11. Ana Bilim Dalı: Belirtilmemiş.
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 61

Özet

Neural networks are growing at exponential rates. It is becoming more resource intensive and time consuming to train and deploy more sophisticated models. In order to alleviate this issue, many model compression methods have been developed. These methods make model development both faster and cheaper. Two such methods are quantization and pruning. Unfortunately, most quantization and pruning methods remain theoretical without system support. This thesis introduces a high-performance library with quantized and sparse kernels to speed up neural network finetuning. Our library provides efficient versions of the backpropagation algorithm for linear and convolutional modules. Our algorithms apply to unstructured sparsity and implement 8-bit integer quantization kernels for forward and backward passes. Models trained using our framework provide up to 2x-4x speed ups while halving the memory allocation with acceptable accuracy loss.

Özet (Çeviri)

Özet çevirisi mevcut değil.

Benzer Tezler

  1. Tez No

    112262

    Görüntü sınıflandırması için yapay sinir ağlarının analiz ve optimizasyonu

    Analysis and optimization of artificial neural networks for image classification

    OZAN ARSLAN

    Doktora

    Türkçe

    Türkçe

    2001

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    PROF. DR. OĞUZ MÜFTÜOĞLU

    PROF. DR. CANKUT ÖRMECİ

  2. Tez No

    856275

    Design and deployment of deep learning based fuzzy logicsystems

    Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması

    AYKUT BEKE

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

  3. Tez No

    486574

    Lojistik sektörü karayolu taşımacılığında dinamik fiyat tahmin sisteminin tasarlanması

    Designing dynamic forecasting system for truckload market pricing in logistics sector

    AYŞENUR BUDAK

    Doktora

    Türkçe

    Türkçe

    2017

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. ALP ÜSTÜNDAĞ

  4. Tez No

    300169

    Kapalı Robertson-Walker evreninde kuantize edilmiş skaler alanın enerji-momentum tensörü

    Quantized energy-momentum tensor for a scalar field in closed Robertson-Walker universe

    HÜSNÜ EŞİYOK

    Yüksek Lisans

    Türkçe

    Türkçe

    2011

    Fizik ve Fizik MühendisliğiTrakya Üniversitesi

    Fizik Ana Bilim Dalı

    DOÇ. DR. MUSTAFA ÖZCAN

  5. Tez No

    527292

    Quantized feedback control of autonomous robots

    Otonom robotların nicemlenmiş geribeslemeli kontrolü

    ONUR ŞENCAN

    Doktora

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. HAKAN TEMELTAŞ

Geri Dön