Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması
Investigation of the effect of grading educational examples on deep learning algorithms
- Tez No: 716919
- Danışmanlar: DOÇ. DR. METİN BİLGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Damıtma yöntemleri, Derin öğrenme, Eğitim stratejileri, Distillation methods, Deep learning, Training strategies
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Bursa Uludağ Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda, derin sinir ağları, özellikle bilgisayarla görme görevleri için hem endüstri hem de akademide başarılı olmuştur. İnsanlar ve hayvanlara bilgiyi rastgele sunmak yerine aşamalı olarak daha fazla kavram ve karmaşık olanları gösteren anlamlı bir düzende sunulduğunda çok daha iyi öğrenebilirler. Bu tür eğitim stratejilerini yapay sinir ağları bağlamında kullanımına“Müfredat Öğrenme”denmektedir. Bu çalışmada, örneklerin derecelendirilmesi ve yapay sinir ağları ile kullanımından oluşan müfredat öğrenme için yeni bir yaklaşım sunulmuştur. Çalışmamızda CIFAR-10 ve CIFAR-100 eğitim kümesiyle önceden eğitilmiş öğretmen modelinin (Xception modeli) son altı katmanı eğiterek eğitim kümesine ait gizli bilgilerin ağırlıklarda tutulması sağlanmıştır. Model damıtma yöntemleriyle, her bir örnek için oluşacak katman çıktılarını örnek ve örneğe ait etiket bilgilerini bir işleme tabi tutarak her bir örnek için bir zorluk derecesi üretilmiştir. Örnek ve modelin aynı boyutta ayarlanmış sondan bir önceki katman çıktısıyla arasındaki ilgileşim (korelasyon) örnek kaybını, model damıtma kullanarak örneğin etiket bilgisi ve modelin son katman çıktısıyla oluşan çapraz entropisi ile etiket kaybı hesaplanmaktadır. Bu zorluk derecelerini kullanarak oluşturduğumuz 4 farklı sıralama yöntemli ile çok daha küçük bir model eğitilmiştir. Gelişigüzel karıştırılmış verilerle eğitilen öğrenci modelinin doğruluk değeriyle sunduğumuz dört farklı yöntemden ikisi ile oluşturulan sıralama ile eğitildiğinde oluşan doğruluk değerinin her bir devir için daha iyi sonuç verdiği tespit edilmiştir. Öğrenci modeli için doğruluk değerinin anlamlı olabilmesi için her bir durum için on kez çalıştırarak ortalama doğruluk değerleri kullanılmıştır. Her iki veri kümesi için başarı gösteren sınıf bazlı küçükten büyüğe (SBKB) ve sınıf bazlı büyükten küçüğe (SBBK) yöntemleri ile sistem başarısını arttırmak mümkündür. Küçük cihazlarda (mikroişlemciler, mobil telefon vb.) sunduğumuz bu yöntemler kullanılabilir ve daha az işlem gücüne sahip cihazlar ve küçük modeller için iyileştirmeler gözlenebilir.
Özet (Çeviri)
In recent years, deep neural networks have been successful in both industry and academia, especially for computer vision tasks. Humans and animals learn much better when gradually presented in a meaningful order that shows more concepts and complex ones rather than randomly presenting the information. The use of such training strategies in the context of artificial neural networks is called“Curriculum Learning”. In this study, a new approach to curriculum learning, which consists of grading examples and their use with artificial neural networks, is presented. With the CIFAR-10 & CIFAR-100 training set, we train the last six layers of the pre-trained teacher model (Xception Model) to keep the training set's hidden information in the model's weight. We produced a difficulty level for each sample with model distillation methods by processing the layer outputs and each sample and its label. We calculate the sample loss from the similarity (correlation) between the sample and the model's penultimate layer output set at the same size and, we calculate label loss with the sample's ground truth information and the final layer output of the model by using cross-entropy loss. We trained a much smaller model called the student model with 4 different sample sequencing methods we created using these difficulty levels. We determined that the accuracy value generated when trained by the 2 of 4 methods we provide with the accuracy value trained with randomly mixed dataset is more than 1% for each epoch. For the accuracy value to be meaningful for the student model, we used the average accuracy running ten times. It is possible to increase the model's accuracy with class-based small to large (CBSL) and class-based large to small (CBLS), which are successful for both datasets. These methods we offer in small devices (microprocessors, mobile phones, etc.) can be used, and improvements can be observed for devices with less processing power limits and small models.
Benzer Tezler
- Derin öğrenme ve büyük veri analitiği yöntemleriKullanarak Covid-19 yayılımının ileriye dönük tahmini
Forecasting the spread of covid-19 using deep learning and big data analytics methods
CYLAS KIGANDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- Türkiye'de aile planlaması çalışmalarında erkeklerin önemi, hastane personeli ile fabrika işçilerinin doğum kontrol yöntemlerine karşı tutum ve davranranışlarında farklılığın araştırılması
Başlık çevirisi yok
KAMİL MALKOÇLU
Yüksek Lisans
Türkçe
1987
Demografiİstanbul ÜniversitesiAile Sağlığı Ana Bilim Dalı
DOÇ. DR. DERİN KÖSEBAY
- Değişik derim zamanı ve önsoğutmanın Bursa siyahı incir çeşidinin meyve kalitesi ve pazarlama süresi üzerine etkileri
Effects of haruest time and precooling on fruit quality and shelf-life of the fig variety“Bursa siyahı”
FÜSUN GÜRSEL ÇELİKEL
- Tekstil boyamacılığında atık flottede boyama imkanları üzerine araştırma
Başlık çevirisi yok
MEHMET YAKARTEPE
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KERİM DURAN
- Ön işlemenin ve askorbik asitin dondurularak depolanan yılan balıklarının (Anguilla anguilla) kalitesine etkileri
Başlık çevirisi yok
H.VOLKAN GÖKSEL
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiSu Ürünleri Ana Bilim Dalı
DOÇ. DR. AYDIN URAL