Development of process, voltage and temperature variation aware highly energy-efficient deep neural networks with high inference accuracy for internet-of-things applications
Nesnelerin internet, uygulamaları için gerilim, sıcaklık ve üretimsel sapmaları dikkate alarak yüksek enerji verimliliği ve çıkarım doğruluğuna sahip derin öğrenme ağları geliştirilmesi
- Tez No: 898583
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖMER CEYLAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mühendislik ve Doğa Bilimleri Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 100
Özet
Yapay zeka modelleri, donanımda kaydedilen ilerlemelerle birlikte gelişerek günlük uygulamalar için büyük veri kümelerini işlemek konusunda önemli hale geldi. Nesnelerin İnterneti, yapay zeka kullanımını artırsa da bant genişliği, gecikme ve siber tehditler gibi zorluklar ortaya çıkarır. Yerinde hesaplama ve hızlı, enerji verimli donanımlar, özellikle tümleşik devre yapay zeka hızlandırıcıları, nesenelerin interneti cihazları için önemli çözümler arasında yer alır. Enerji verimliliğini daha da artırmak için voltaj düşürme yöntemi uygulanabilir, bu durum zamanlama hatalarına yol açabilir fakat derin sinir ağlarının doğası gereği bu hatalar tolere edebilebilir. Yoğun çarpma ve toplama işlemleri önemli ölçüde girdi ve çıktılarda değişikliğe sebep olduğundan, çipin güç hatlarında gürültü oluşturabilir. Bu tezde, voltaj ve sıcaklık gürültülerinden kaynaklanan hata olasılığını belirlemek için, işlem voltajı, sıcaklık ve üretimsel sapmalardan kaynaklı durumları hesaba katan olasılıksal hata modeli geliştirilmiş ve çalıştığı gösterilmiştir. Bu model kullanılarak, zaman alıcı Monte Carlo simülasyonlarına başvurmadan bit hata olasılığı hesaplanabilir, böylece dijital donanımın analizi için harcanan süre önemli ölçüde azaltılmış olur. Tasarımcılar, DNN modelinin katmanlarına bit hataları ekleyerek çıkarım doğruluğu gözlemleyip, katman önemine göre dinamik voltaj ölçeklendirmesi uygulayarak güç tüketimini optimize edebilirler. Modeli doğrulamak için 65nm CMOS teknolojisi kullanılarak 16x16 boyutunda bir sistolik çarpma ve toplama dizisi, hızlandırıcısı tasarlanmıştır. Tek bir çarpma ve toplama birimi zamanlama hata olasılığı açısından analiz edilmiş ve sonuçlar Monte Carlo simülasyonları ile karşılaştırılmıştır. Model makul bir doğruluk göstermiş ve Monte Carlo simülasyonlarından (1500 örnek) yaklaşık 808 kat daha hızlı bir şekilde hata oranı hesaplaması yapmıştır. Bu da hızlandırıcı üzerindeki voltaj düşürme etkilerinin zamanlama hata olasılığı açısından hızlı bir şekilde gözlemlenmesine olanak tanımıştır.
Özet (Çeviri)
Artificial intelligence (AI models have improved with advancements in hardware, processing large datasets crucial for daily applications. The Internet-of-Things (IoT) enhances AI usage but brings challenges like bandwidth overhead, latency, and cyber threats. Edge computing and fast, energy-efficient hardware, like application-specific integrated circuit DNN accelerators, are essential solutions for IOT devices. To further enhance energy efficiency, voltage reduction on power supplies is a viable method, despite causing timing errors that DNNs might tolerate due to their inherent nature. Extensive MAC operations also lead to significant switching activity, potentially generating noise on the chip's power lines. In this thesis, process voltage temperature (PVT) aware probabilistic timing error model is developed and demonstrated to find error probability due to voltage and temperature noise. By utilizing this model, bit error probability can be calculated without relying on the time-consuming Monte Carlo (MC) simulations, thus the analysis time of the digital hardware is significantly reduced. By observing the inference accuracy of a DNN model through the introducing of bit errors to its layers, designers can optimize power consumption by employing dynamic voltage scaling based on layer importance. A 16x16 systolic MAC array accelerator was designed using 65nm CMOS technology to verify the model. Single MAC unit is analyzed for timing error probability and result is compared with MC simulations. The model demonstrated decent accuracy and was approximately 808 times faster than MC simulations (1500 sample), allowing for rapid observation of voltage reduction effects on the accelerator in terms of timing error probability.
Benzer Tezler
- Elektron ışın kaynağı ve otomotiv endüstrisindeki uygulamaları
Başlık çevirisi yok
ERCAN CİHAN
Yüksek Lisans
Türkçe
1998
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. SELAHATTİN ANIK
- Predicting thermal behavior of Li-ion batteries in electric cars
Elektrikli otomobillerdeki Li-ion bataryaların termal davranışının tahmin edilmesi
BERNARDO JOSE AZUAJE BERBECI
Doktora
İngilizce
2024
Elektrik ve Elektronik MühendisliğiAtılım ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HULUSİ BÜLENT ERTAN
- A novel approach for identification of thermal and optical characteristics for the active layer of high power photonic devices
Yüksek güçlü fotonik sistemlerin aktif katmanının termal ve optik özelliklerinin karakterizasyonu için yeni bir yaklaşım
AHMET METE MUSLU
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiÖzyeğin ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ARIK
- Enerji iletim hatlarında yorulma olayları
Fatigue phenomenon on electric power transmission lines
NİHAT İNANÇ
Yüksek Lisans
Türkçe
1992
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF. DR. NESRİN TARKAN
- Yüksek güçlü IGBT'ler için kapı sürme devresi
Gate drive circuit for high power IGBTs
OSMAN TANRIVERDİ
Doktora
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DENİZ YILDIRIM