Improved knowledge distillation with Dynamic Network Pruning
Dinamik Ağ Budama yöntemiyle geliştirilmiş bilgi damıtma
- Tez No: 594829
- Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 62
Özet
Evrişimli sinirsel ağların mobil veya gömülü cihazlara yerleştirilmesi çoğu zaman sınırlı bellek ve hesaplama kaynakları tarafından kısıtlanır. Bu kısıtlama, özellikle çok büyük olma eğiliminde olan ve uzun çıkarım süreleri gerektiren başarılı ağlar için önemli bir sorundur. Geçmişte sinir ağlarını sıkıştırmak için budama, düzenlileştirme, nicemleme veya damıtma temelli birçok alternatif yaklaşım geliştirilmiştir. Bu tez çalışmasında, büyük bir öğretmen ağının rehberliğinde küçük bir öğrenci ağını dinamik bir şekilde sıkıştırarak eğiten Dinamik Budama ile Bilgi Damıtma (DBBD) yöntemini öneriyoruz. DBBD'de, öğrenci ağını öğretmen ağının denetiminde eğitirken, tam bağlantılı bir katmanın nöron aktivasyonlarına L_1 düzenlileştirmesi uyguluyoruz. Daha sonra aktif olmayan nöronları buduyoruz. Metodumuz, öğrenci modelinin son boyutunu kendisi otomatik olarak belirliyor. Ortaya çıkan ağların görüntü sınıflandırma veri setleri üzerindeki sıkıştırma oranını ve doğruluğunu inceleyip bunları Bilgi Damıtma (BD) metodundan elde edilen sonuçlarla karşılaştırıyoruz. Yöntemimizi BD ile karşılaştırdığımızda BD'den daha kompakt ve daha iyi doğruluk derecesine sahip modeller ürettiğini gözlemliyoruz.
Özet (Çeviri)
Deploying convolutional neural networks to mobile or embedded devices is often prohibited by limited memory and computational resources. This is particularly problematic for the most successful networks, which tend to be very large and require long inference times. In the past, many alternative approaches have been developed for compressing neural networks based on pruning, regularization, quantization or distillation. In this thesis, we propose the Knowledge Distillation with Dynamic Pruning (KDDP), which trains a dynamically pruned compact student network under the guidance of a large teacher network. In KDDP, we train the student network with supervision from the teacher network, while applying L_1 regularization on the neuron activations in a fully-connected layer. Subsequently, we prune inactive neurons. Our method automatically determines the final size of the student model. We evaluate the compression rate and accuracy of the resulting networks on image classification datasets, and compare them to results obtained by Knowledge Distillation (KD). Compared to KD, our method produces better accuracy and more compact models.
Benzer Tezler
- Dijital karbon ayak izinin optimizasyonu için uç cihazlarda yapay zeka ve makine öğrenmesi uygulamaları
Artificial intelligence and machine learning applications on edge devices for digital carbon footprint optimization
ÇAĞLAR ŞİMŞEK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH ÇALLI
- Anomaly detection in ınternet of medical things using deep learning
Anomaly detect ionin internet of medical things using deep learning
AYŞE BETÜL BÜKEN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- An affective framework for brain computer interfaces using transfer learning in virtual environments
Sanal ortamlarda transfer öğrenme kullanılarak beyin bilgisayar arayüzleri için duyuşsal çerçeve oluşturulması
MEHMET ALİ SARIKAYA
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- A few-shot learning with self-knowledge distillation approach for medical image recognition
Tıbbi görüntü tanıma için kendinden bilgi damıtmı yaklaşımı ile birkaç atımda öğrenme
MOHAMED EL HACEN HABIB
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiKocaeli ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZHAN URHAN
- Dijital histopatolojide boya normalizasyonu için dalgacık bilgi damıtma uygulama ve analizi
Application and analysis of wavelet knowledge distillation for stain normalization in digital histopathology
SEFA KEKLİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT EKİNCİ