Efficient neural network processing via model compression and low-power functional units
Model sıkıştırma ve düşük güç fonksiyonel ünitelerle verimli sinir ağı işleme
- Tez No: 911504
- Danışmanlar: DOÇ. DR. EMİNE ÜLKÜ SARITAŞ ÇUKUR, DR. ÖĞR. ÜYESİ BURÇİN ÇAKIR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 103
Özet
Kaynak kısıtlı cihazlardan veri merkezlerine kadar geniş bir yelpazede sinir ağı optimizasyonuna katkı sağlayan, budama, nicemleme ve aritmetik birim tasarımı konularında yenilikçi yöntemler sunan bir çerçeve öneriyoruz. İlk bileşen, önemsiz nöronları ve ağırlıkları seçici olarak ölçüp ortadan kaldıran bir önem metriği kullanan bir budama yöntemidir ve bu sayede % 99.9'a varan yüksek sıkıştırma oranlarına önemli bir doğruluk kaybı olmadan ulaşılmaktadır. Bu fikir, sıkıştırma ve modelin genelleme yeteneği arasındaki dengeyi optimize eden yenilikçi bir budama planıyla daha da geliştirilmiştir. ˙Ikinci olarak, budama ile birleşerek donanım uyumluluğunu arttıran, verimli model sıkıştırma, hızlı hesaplama ve genel kullanılabilirlik sunan bir nicemleme yöntemi sunuyoruz. Son olarak, geleneksel kayan nokta işlemlerine enerji verimli bir alternatif olarak tasarlanan, büyük tablo arama yapılarına ihtiyaç duymadan hassas ve yapılandırılabilir işlem sunan bir logaritmik aritmetik birim öneriyoruz. Farklı veri setleri, CUDA tabanlı simülasyonlar ve Verilog tabanlı donanım tasarımları ¨uzerinde yapılan kapsamlı değerlendirmeler, önerilen yöntemlerimizin mevcut yöntemlerden üstün olduğunu ve yapay zeka modellerinin daha verimli bir şekilde çalışması için güçlü bir çözüm sunduğunu göstermektedir.
Özet (Çeviri)
We present a framework that contributes neural network optimization through novel methods in pruning, quantization, and arithmetic unit design for resource constrained devices to datacenters. The first component is a pruning method that employs an importance metric to measure and selectively eliminate less critical neurons and weights, achieving high compression rates up to 99.9% without sacrificing significant accuracy. This idea is improved by a novel pruning schedule that optimizes the balance between compression and model's generalization capability. Next, we introduce a quantization method that combines with pruning to improve hardware compatibility for floating point format, offering efficient model compression and fast computation and general usability. Finally, we propose a logarithmic arithmetic unit that designed as an energy-efficient alternative to conventional floating-point operations, providing precise and configurable processing without relying on bulky lookup tables. Extensive evaluations across different datasets and CUDA-based simulations and Verilog based hardware designs indicate that our approaches outperforms existing methods, making it a powerful solution for deploying artificial intelligence models more efficiently.
Benzer Tezler
- Real-time anomaly detection in UAV systems using TinyML on ARM Cortex-M microcontrollers
ARM Cortex-M mikrodenetleyicilerde gömülü makine öğrenmesi kullanarak İHA sistemlerinde gerçek zamanlı anomali tespiti
MEHMET ALPEREN BAKICI
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ
- Derin öğrenme tabanlı süper çözünürlük teknikleri kullanarak JPEG sıkıştırma kaybının iyileştirilmesi
Recovering JPEG compression loss via deep learning-based super resolution techniques
MUHAMMET BOLAT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
DR. NURULLAH ÇALIK
- Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization
Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması
REYHAN KEVSER KESER
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Image compression method based on learned lifting-based DWT and learned zerotree-like entropy model
Öğrenilmiş kaldıraç tabanlı DWT ve öğrenilmiş zerotree-benzeri entropi modeline dayalı görüntü sıkıştırma yöntemi
UĞUR BERK ŞAHİN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- Yapay sinir ağları ile ulaştırma taleplerinin modellenmesi
Başlık çevirisi yok
YUSUF KAAN DEMİR
Yüksek Lisans
Türkçe
1997
İnşaat Mühendisliğiİstanbul Teknik ÜniversitesiUlaştırma Ana Bilim Dalı
PROF. DR. HALUK GERÇEK