Energy-efficient hardware design of artificial neural networks for mobile platforms
Çok düşük eneri tüketen taşınabilir kullanıma uygun yapay sinir ağlarının donanım gerçeklemeleri
- Tez No: 835158
- Danışmanlar: DOÇ. DR. MUSTAFA ALTUN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 123
Özet
Derin Sinir Ağlarının (DNN'ler) doğruluğu ve işlevselliğindeki son gelişmeler, otonom sistemlerde ve teşhis araçlarında onlara artan bir popülerlik kazandırdı. Ancak bu iyileştirmeler, bazı kısıtlamaları da beraberinde getirdi. DNN'lerin enerji tüketimi kontrol edilemez bir biçimde arttı. Son teknoloji ürünü enerji optimizasyonu yaklaşımları, farklı performans optimizasyon tekniklerinin entegrasyonu ile geleneksel bilgi işlem paradigmasını birleştirmeye yöneliktir. Bu teknikler arasında bellek bölümleme, uzamsal haritalama, enerji tasarruflu çoğaltma, ağırlık ve giriş hassasiyetinin optimizasyonu, bit seri hesaplama ve MAC tabanlı işlem öğesi yönetimi yer almaktadır. Bu yaklaşımlar enerji sorununu bir ölçüde hafifletse de, bu yöntemlerin kullanımının karmaşıklığı, kazandırdıklarını geri vermektedir. Bir enerji verimliliği çözümü, donanım işlemcisinin çarpma ve toplama gibi aritmetik işlemlerini basitleştiren tekli sayı sistemini kullanmak olabilir. Ancak bu sayı sistemi ile işleme, donanım işlemcisi için zengin rasgele kaynakların eksikliği ve gecikme sorunu gibi bazı dezavantajlara sahiptir. Bu tür sorunların üstesinden gelmek için STAMP adı verilen gerçek zamanlı bir stokastik sinyal sayı üreteci oluşturulmuştur. STAMP, düşük donanım maliyeti özelliklerine sahiptir ve tekli formatta yüksek hızlarda yüksek kalitede rastgele stokastik bit akışları üretir. Geleneksel yaklaşımlardan farklı olarak, yeni bir hibrit bit seri-paralel en büyük değerli basamak (MSB) ilk sayı gösterimi ile yeni bir bilgi işlem paradigması önerilmiştir. Yeni sayı temsilinin arkasındaki motivasyon, sayının sırasıyla m ve n ile gösterilen her bir paralel veya seri satırının ayrı ayrı veya bağımsız olarak işlenmesine izin veren bir sayı sistemi kullanmaktır. Seri hatlar ayrı ayrı çalışabiliyorsa, aynı donanım her seri hat için tekrar tekrar kullanılabilir, böylece donanım alanı n ile değişmez, yalnızca m'e bağlıdır. TALIPOT adlı yeni bir hibrit işlemcinin DNN'lerde çalışması önerilmiştir. TALIPOT, istenen doğruluk elde edildiğinde çıkıştaki bitleri keserek çalışma doğruluğunu/enerji noktasını optimize eder. MNIST ve CIFAR-10 veri kümelerini kullanan simülasyonlar, TALIPOT'un enerji tüketimi açısından en gelişmiş hesaplama tekniklerinden daha iyi performans gösterdiğini göstermektedir. TALIPOT'u geliştirdikten sonra, TALIPOT'u DNN'ler üzerinde kolay ve verimli bir şekilde kullanmak için TAHA adlı bilgisayar destekli bir tasarım aracı oluşturulmuştur. TAHA, DNN donanımını eğitim, test ve optimize etmekten SoC'ye verimli bir şekilde prototip oluşturmaya kadar kullanıcılara bir arayüz ve eksiksiz bir kılavuz sunar. Algoritma/donanım işbirliğini kullanan ve TALIPOT hibrit işlemcisini entegre eden TAHA, kullanıcının doğruluk kısıtlaması altında enerji tasarrufunu en üst düzeye çıkaran en uygun donanım yapılandırmasını seçmesi için bir dizi optimize edilmiş DNN donanım optimizasyon çözümü sunabilir.
Özet (Çeviri)
Deep Neural Networks (DNNs), which have recently improved in accuracy and usefulness, are becoming more and more common in autonomous systems and diagnostic tools. These enhancements cost money, though. DNNs' exponential increase in energy consumption necessitates the development of novel methods for enhancing their energy effectiveness. Modern approaches to energy optimization combine the traditional computing paradigm with a variety of performance enhancement strategies. Memory partitioning, spatial mapping, energy-efficient multiplication, weight and input precision optimization, bit-serial computation, and MAC-based processing element management are a few of these methods. Although these strategies help with the energy crisis to some level, their complexity of use negates any benefits. An energy-efficiency solution can be using unary number system which simplifies arithmetic operations of the hardware processor such as multiplication and addition. However this representation has certain drawbacks for the hardware processor such as having shortage of rich random sources and latency problem. A real-time stochastic signal generator called STAMP is built to overcome the issues. STAMP has features of low hardware cost and generates high quality of random stochastic bit streams at high speeds in unary format. A new hybrid bit serial-parallel most significant bit (MSB-first) number representation is proposed, which is different from traditional techniques. Finding a number system that enables each parallel or serial line of the number, designated by m and n, to be handled separately or independently is the driving force behind the new number representation. The hardware space won't change with n and will only depend on m if the serial lines can run independently. If they do, the same hardware can be used repeatedly for each serial line. For use in DNNs, a brand-new hybrid processor dubbed TALIPOT is being proposed. When the desired accuracy is achieved, TALIPOT optimizes operational accuracy/energy point by chopping out bits at the output. Simulations using the MNIST and CIFAR-10 datasets show that TALIPOT outperforms the state-of-the-art computation techniques in terms of energy consumption. After developing TALIPOT, a computer aided design tool called TAHA is built to employ TALIPOT easily and efficiently on DNNs. TAHA presents an interface and complete guide for the users from training, testing and optimizing DNN hardware until prototyping it into SoC efficiently. Utilizing the algorithm/hardware cooperation and integrating TALIPOT hybrid processor, TAHA can readily offer a number of optimized DNN hardware deployment solutions for the user to select the optimal hardware configuration which maximizes the energy saving under accuracy constraint.
Benzer Tezler
- Approximate artificial neural network hardware aware synthesis tool
Yaklaşık yapay sinir ağı için donanıma duyarlı sentez aracı
MOHAMMADREZA ESMALI NOJEHDEH
Doktora
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ALTUN
- Multiplication free neural networks
Çarpma işlemsiz sinir ağları
MAEN M.A. MALLAH
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Prof. Dr. AHMET ENİS ÇETİN
- Hücresel imalat sistemlerinde maliyet ve sinir ağları tabanlı iki evreli bir kümelendirme yaklaşımı
Artificial neurat network x operation costs based twostage GT clusterning procedure
AFFAN NOMAK
Yüksek Lisans
Türkçe
1995
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. BÜLENT DURMUŞOĞLU
- Yapay sinir ağı kullanarak yapısal optimizasyon problemlerindeki çözüm süreçlerinin kısaltılması
Reducing the solution processes in structural optimization problems using neural networks
TEVFİK OĞUZ ÖRMECİOĞLU
Doktora
Türkçe
2024
Mühendislik BilimleriAkdeniz Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM AYDOĞDU
PROF. DR. NİYAZİ UĞUR KOÇKAL
- Ultra yüksek hızlı ve düşük enerjili yapay sinir hücre devresinin tasarımı ve gerçeklenmesi
Design and implementation of an ultra high speed and low energy artificial neuron
MUSTAFA ALTAY KARAMÜFTÜOĞLU
Yüksek Lisans
Türkçe
2018
Elektrik ve Elektronik MühendisliğiTOBB Ekonomi ve Teknoloji ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ BOZBEY