Using network-on-chip structure in deep neural network accelerator design
Derin sinir ağı hızlandırıcı tasarımlarında yonga-üstü-ağ yapısının kullanımı
- Tez No: 866501
- Danışmanlar: PROF. DR. SÜLEYMAN TOSUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
Son yıllarda görüntü ve konuşma tanıma, doğal dil işleme (NLP) ve otonom sistemler gibi çeşitli alanlarda kaydedilen ilerlemelerde Derin Sinir Ağları (DNN'ler) yaygın olarak benimseniyor. Bu alanlardaki güncel problemlerin giderek karmaşık hale gelmesi, sinir ağlarının iletişim kuran katmanlarının ve bu katmanlarda bulunan nöronların sayısının artmasına neden olmuştur. Bu nedenle kullanılan sinir ağlarının enerji tüketimi ve çalışma süresi gibi maliyetleri artırmıştır. Bu maliyetleri karşılamak için sinir ağlarının çalışmasını hızlandıracak yeni mimarilerin geliştirilmesi gerekmektedir. Bilgisayarların çalıştırıldığı uygulamaya bağlı olarak işlem birimlerinin işlevi için en uygun olan birim üzerinde çalıştırılması ve bu şekilde donanımın uygulamaya özelleşmesi heterojen mimari adı altında giderek yaygınlaşmaktadır. Bu tezde, sinir ağı katmanlarının hem tam bağlı hem de kısmen bağlı sinir ağı modelleri dikkate alınarak Yonga-Üstü-Ağ (NoC) tabanlı bir hızlandırıcı tasarımı önerilmiştir. Yonga-Üstü-Ağ yapısının sunduğu çip üzerindeki her bir işlem elemanının kendi yönlendiricisine sahip olması ve işlem elemanlarının düzenli bir yapıya sahip olması, çip üzerindeki veri iletişimini muadillerinden ileri bir seviyeye taşımaktadır. Sinir ağındaki nöronların gruplandırılması ve bu işlem elemanları üzerinde çalıştırılması sağlanan bu iletişim altyapısı, iyi bir seçenek haline gelmektedir. İşlem elemanlarında yapılan hesaplamanın, o işlem elemanına iletilen veri kadar olacağından, veri iletişimi yoğunluğu Yonga-Üstü-Ağ yapısı üzerinde yapılacak olan hızlandırma modellerinin karşılaştırmasında bir kıstas olarak kullanılabilir. Neuron grupları arasındaki veri hacmini en aza indirmek amacıyla nöronları gruplandırmada tamsayılı doğrusal programlama (ILP) ve simüle tavlama (SA) gibi sezgisel yöntemler analiz edilmiştir. Daha sonra nöronlar, sistemin toplam iletişim maliyetini en aza indirmek için ILP ve SA kullanılarak 2 boyutlu Yonga-Üstü-Ağ yapısına eşlenecektir. Böylece görülecektir ki Yonga-Üstü-Ağ yapısı kullanılarak sinir ağı hızlandırıcısı tasarımı iki aşamalı bir problemdir: Nöron gruplandırma ve grupların Yonga-Üstü-Ağ üzerine eşlenmesi. Bu tezde önerilen tasarım, Yonga-Üstü-Ağ yapısı üzerindeki sinir ağları hızlandırıcılarında yüksek veri iletişimi sorununu ele alması bakımından yenidir. Çeşitli DNN modelleri üzerinde yapılan kapsamlı deneyler, önerilen tasarım ile iletişim maliyetinde ortalama %40'lık bir iyileşme göstermektedir. Önerilen tasarım, DNN'lerin hızlandırılması için yeni bir yaklaşım sunmakta olup IoT, otonom sistemler, doğal dil işleme, konuşma tanıma ve bulut bilişim gibi çeşitli alanlara uygulanabilir.
Özet (Çeviri)
The widespread adoption of Deep Neural Networks (DNNs) in various fields, such as image and speech recognition, natural language processing (NLP), and autonomous systems, has been noted. However, the computational cost of these networks is often prohibitively high due to the large number of communicating layers and neurons and the significant amount of energy consumed. To address these challenges, developing new architectures to accelerate DNNs is necessary. In this thesis, a Network-on-Chip (NoC)-based DNN accelerator is proposed, taking into consideration both fully connected and partially connected DNN models. Heuristic methods, including Integer Linear Programming (ILP) and Simulated Annealing (SA), are utilized to group the neurons, to minimize the total volume of data among the groups. The neurons are then mapped onto a 2D mesh NoC fabric, utilizing ILP and SA, to minimize the system's total communication cost. The proposed design is novel in that it addresses the issue of high data communication in DNNs by utilizing the scalable, low-overhead, and energy-efficient NoC communication structure. Through extensive experimentation on various benchmarks and DNN models, an average improvement of 40% in communication cost has been observed. The proposed design targets low-overhead inferencing and training DNNs on edge devices in the Internet-of-Things (IoT) era, with a combination with cloud computing. The results of this thesis provide a new approach for the acceleration of DNNs and can be applied to various fields, such as edge computing, IoT, autonomous systems, computer vision, natural language processing, speech recognition, and cloud computing.
Benzer Tezler
- CFRP plakalarda delaminasyon hasarının makina öğrenmesi ile tahmin edilmesi
Predicting delamination failure in CFRP composite plates with machine learning algorithms
AMMAR TARIK DİNÇER
Yüksek Lisans
Türkçe
2024
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA BAKKAL
- Characterization and modeling of negative-biastemperature instability in 40 NM CMOS technologythrough long short-term memory (LSTM) networks
Uzun kısa-süreli bellek ağlarıyla (LSTM)40 NM CMOS teknolojisinde negatif-kutuplamasıcaklık kararsızlığının karakterizasyonu ve modellenmesi
FİKRET BAŞAR GENCER
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA BERKE YELTEN
- Estimation of electromagnetic model of light in different media using artificial neural network
Yapay sinir ağları kullanarak ışığın elektromanyetik modelinin farklı ortamlarda değerlemesi
NAİL ŞENGÖR
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiEskişehir Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. FERİDUN AY
DR. ÖĞR. ÜYESİ CAHİT PERKGÖZ
- Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar
Densely connected structures in deep learning based image denoising
VEDAT ACAR
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Synthesis of realistic photo-masks using supervised artificial neural networks
Denetimli yapay sinir ağları kullanılarak gerçekçi foto-maske sentezi
YUSUF BURAK FİDAN
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET UNUTULMAZ