Improved knowledge distillation with Dynamic Network Pruning
Dinamik Ağ Budama yöntemiyle geliştirilmiş bilgi damıtma
- Tez No: 594829
- Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 62
Özet
Evrişimli sinirsel ağların mobil veya gömülü cihazlara yerleştirilmesi çoğu zaman sınırlı bellek ve hesaplama kaynakları tarafından kısıtlanır. Bu kısıtlama, özellikle çok büyük olma eğiliminde olan ve uzun çıkarım süreleri gerektiren başarılı ağlar için önemli bir sorundur. Geçmişte sinir ağlarını sıkıştırmak için budama, düzenlileştirme, nicemleme veya damıtma temelli birçok alternatif yaklaşım geliştirilmiştir. Bu tez çalışmasında, büyük bir öğretmen ağının rehberliğinde küçük bir öğrenci ağını dinamik bir şekilde sıkıştırarak eğiten Dinamik Budama ile Bilgi Damıtma (DBBD) yöntemini öneriyoruz. DBBD'de, öğrenci ağını öğretmen ağının denetiminde eğitirken, tam bağlantılı bir katmanın nöron aktivasyonlarına L_1 düzenlileştirmesi uyguluyoruz. Daha sonra aktif olmayan nöronları buduyoruz. Metodumuz, öğrenci modelinin son boyutunu kendisi otomatik olarak belirliyor. Ortaya çıkan ağların görüntü sınıflandırma veri setleri üzerindeki sıkıştırma oranını ve doğruluğunu inceleyip bunları Bilgi Damıtma (BD) metodundan elde edilen sonuçlarla karşılaştırıyoruz. Yöntemimizi BD ile karşılaştırdığımızda BD'den daha kompakt ve daha iyi doğruluk derecesine sahip modeller ürettiğini gözlemliyoruz.
Özet (Çeviri)
Deploying convolutional neural networks to mobile or embedded devices is often prohibited by limited memory and computational resources. This is particularly problematic for the most successful networks, which tend to be very large and require long inference times. In the past, many alternative approaches have been developed for compressing neural networks based on pruning, regularization, quantization or distillation. In this thesis, we propose the Knowledge Distillation with Dynamic Pruning (KDDP), which trains a dynamically pruned compact student network under the guidance of a large teacher network. In KDDP, we train the student network with supervision from the teacher network, while applying L_1 regularization on the neuron activations in a fully-connected layer. Subsequently, we prune inactive neurons. Our method automatically determines the final size of the student model. We evaluate the compression rate and accuracy of the resulting networks on image classification datasets, and compare them to results obtained by Knowledge Distillation (KD). Compared to KD, our method produces better accuracy and more compact models.
Benzer Tezler
- Dijital histopatolojide boya normalizasyonu için dalgacık bilgi damıtma uygulama ve analizi
Application and analysis of wavelet knowledge distillation for stain normalization in digital histopathology
SEFA KEKLİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT EKİNCİ
- Bitkisel yağlardan çözücü ekstraksiyonu ile serbest yağ asitlerinin giderilmesinin ardından çözücünün iyon değişimi ile geri kazanılması
Ion exchange for solvent recovery in deacidification of vegetable oils by solvent extraction
MELİKE ERGUVAN
Yüksek Lisans
Türkçe
2016
Kimya Mühendisliğiİstanbul Teknik ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF. DR. HALE GÜRBÜZ
- Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization
Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması
REYHAN KEVSER KESER
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Enhancing lightweight models for efficient sensor-based human activity recognition
Verimli sensör tabanlı insan aktivitesi tanıma için hafif modellerin iyileştirilmesi
SÜMEYYE AĞAÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERK GÖKBERK
DOÇ. DR. ÖZLEM DURMAZ İNCEL
- Efficient super-resolution and MR image reconstruction networks
Verimli süper çözünürlük ve MR imgeleri geriçatım ağları
DURSUN ALİ EKİNCİ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN