A network pruning algorithm based on visual search task
Görsel arama görevine dayalı bir ağ budama algoritması
- Tez No: 820955
- Danışmanlar: DOÇ. DR. MUHAMMED ABDULLAH BÜLBÜL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Savunma ve Savunma Teknolojileri, Computer Engineering and Computer Science and Control, Science and Technology, Defense and Defense Technologies
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
Bazı az sayıda sınıfları tanımak için eğitilmiş olsalarda, yapay sinir ağları nesne tanıma ve sınıflandırma gibi günümüzün karmaşık problemleri sebebiyle çok büyük boyutlara sahiptirler. Gelecekte `Strong` yapay zekaya ulaştığımızda modeller çok fazla sınıfa ve büyük boyutlara sahip olacaklar. Modelleri hızlandırmak amacıyla modellerin sınıf sayısını ve boyutlarını azaltmak çok kullanışlı olurdu. Literatürde bir çok çalışma var fakat bu çalışmalar sadece boyut azaltmaya odaklanmıştır. Yakın zamanda Hedef Odaklı (Goal Driven) budama tekniği sunulmuştur. Boyut azaltmanın yanında bu teknik sınıf sayısını da azaltır. Yani literatürdeki diğer çalışmaların tersine gizli katmanlarda budamanın yanında çıkış katmanında da budama yapar ve budamadan sonra ince ayar uygulamaz. Bu sayede hedef odaklı ve küçük boyutlu bir model ortaya çıkmış olur. Bu yöntem, insan görme sistemindeki yukardan aşağıya (top-down) dikkat mekanizmasından ilhamla ortaya çıkmıştır. Bu dikkat mekanızması, ortamdaki çeldiricilerin özelliklerine hassasiyetin azaltılması mantığına dayanır. Bu amaçla Goal Driven budama, ilgi duyulmayan sınıfları budar ve aynı zamanda ara katmanları hedef sınıfa göre budar. Bu çalışmada biz, Hedef Odaklı Budama mantığını derinlemesine araştırıp, uygulanabilirliğini inceledikten sonra nihayetinde önceki çalışmanın aksine modeli bir bütün olarak değerlendiren Bütünsel Hedef Odaklı Budama (Global Goal Driven Pruning) yöntemini sunuyoruz. Ayrıca bu çalışmada, modelden daha iyi doğruluk performansı almak amacıyla önceki çalışmanın zayıf yönlerini de geliştirmeye çalıştık. Sunduğumuz bu yöntemi değerlendirmek amacıyla önceki yöntemle karşılaştırdık. Bunun için önceki çalışmadaki aynı üç model üzerinde yöntemimizi test ettik. Sonuçlar, yöntemimizin modellerin boyutunu ve flop değerinin azalttığını aynı zamanda önceki çalışmadan daha iyi değerler ürettiğini göstermektedir. Ayrıca, görsel arama görevlerine dayalı ağ optimizasyonları ile ilgili gelecekteki araştırma olasılıklarını da belirtiyoruz.
Özet (Çeviri)
Neural Network models have big sizes because of today's complex problems such as image recognition and classification even if not trained for a large number of classes. In the future, when we reach the strong AI which is a dream of a system that is the most capable intelligence on the earth, the models will have thousands of classes and giant sizes. So, reducing the number of classes and reducing the model's sizes without dropping the accuracy would be very handy when we need to accelerate the performance during recognition. In the literature, there are lots of pruning techniques but those focus on only reducing the sizes of the models. Recently The Goal Driven Pruning method has been proposed. In addition to reducing the size, The Goal Driven Pruning removes unnecessary classes from the model. That is, unlike the other studies in the literature, The Goal Driven method prunes a model not only for a hidden layer but also prunes the output layer according to a target class of interest, and fine tuning isn't applied after pruning. By doing so, a goal oriented and smaller size model is gained. This method is inspired by top-down attention mechanisms in the human visual system. This attention mechanism is based on reducing the sensitivity of the characteristics of distractors in the environment. For this purpose, The Goal Driven Pruning method prunes the irrelevant output classes and also prunes the hidden layers according to the target classes of interest. In this study, we elaborate more on the goal oriented pruning idea, investigate its applicability and propose the Global Goal Driven Pruning method, which evaluates the model as a whole on the contrary of Goal Driven Pruning. Moreover, via this study we try to fix some weaknesses of the Goal Driven method and have better accuracy performance. In order to assess our method's performance and compare with the Goal Driven technique, we applied our method on the same three models as in the previous Goal Driven study. The results showed that our method reduces the size of the models and the flop rate giving better results compared to the previous method. We also indicate future research possibilities regarding network optimizations based on visual search tasks.
Benzer Tezler
- Feedforward nevral network optimisation suitable for hardware implementation
İleri beslemeli sinir ağlarının donanıma uygun optimizasyonu
DEVRİM ALBUZ
Yüksek Lisans
İngilizce
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
DR. GÜNHAN DÜNDAR
- A continuous speech recognition system for Turkish language based on triphone model
Üçlü ses modelli Türkçe sürekli konuşma tanıma sistemi
FATMA PATLAR
Yüksek Lisans
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Kültür ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ERTUĞRUL SAATÇİ
- Kaynak kısıtlı proje programlama problemlerinin çözümü için yeni yöntem ve algoritmalar
New methods and algorithms for solving the resource-constrained project scheduling problem
İHSAN UĞUR
- Covolutional neural networks based on non-euclidean operators
Öklidce mensup olmayan operatörler bazında konvolüsyonel sinir ağları
DIAA HISHAM JAMIL BADAWI
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Prof. AHMET ENİS ÇETİN
- Energy efficient broadcasting in wireless ad hoc networks
Başlık çevirisi yok
SERKAN ÇİFTLİKLİ
Yüksek Lisans
Türkçe
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiYRD. DOÇ. DR. KEREM BÜLBÜL
YRD. DOÇ. DR. ÖZGÜR ERÇETİN