Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması
Investigation of the effect of grading educational examples on deep learning algorithms
- Tez No: 716919
- Danışmanlar: DOÇ. DR. METİN BİLGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Bursa Uludağ Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 53
Özet
Son yıllarda, derin sinir ağları, özellikle bilgisayarla görme görevleri için hem endüstri hem de akademide başarılı olmuştur. İnsanlar ve hayvanlara bilgiyi rastgele sunmak yerine aşamalı olarak daha fazla kavram ve karmaşık olanları gösteren anlamlı bir düzende sunulduğunda çok daha iyi öğrenebilirler. Bu tür eğitim stratejilerini yapay sinir ağları bağlamında kullanımına“Müfredat Öğrenme”denmektedir. Bu çalışmada, örneklerin derecelendirilmesi ve yapay sinir ağları ile kullanımından oluşan müfredat öğrenme için yeni bir yaklaşım sunulmuştur. Çalışmamızda CIFAR-10 ve CIFAR-100 eğitim kümesiyle önceden eğitilmiş öğretmen modelinin (Xception modeli) son altı katmanı eğiterek eğitim kümesine ait gizli bilgilerin ağırlıklarda tutulması sağlanmıştır. Model damıtma yöntemleriyle, her bir örnek için oluşacak katman çıktılarını örnek ve örneğe ait etiket bilgilerini bir işleme tabi tutarak her bir örnek için bir zorluk derecesi üretilmiştir. Örnek ve modelin aynı boyutta ayarlanmış sondan bir önceki katman çıktısıyla arasındaki ilgileşim (korelasyon) örnek kaybını, model damıtma kullanarak örneğin etiket bilgisi ve modelin son katman çıktısıyla oluşan çapraz entropisi ile etiket kaybı hesaplanmaktadır. Bu zorluk derecelerini kullanarak oluşturduğumuz 4 farklı sıralama yöntemli ile çok daha küçük bir model eğitilmiştir. Gelişigüzel karıştırılmış verilerle eğitilen öğrenci modelinin doğruluk değeriyle sunduğumuz dört farklı yöntemden ikisi ile oluşturulan sıralama ile eğitildiğinde oluşan doğruluk değerinin her bir devir için daha iyi sonuç verdiği tespit edilmiştir. Öğrenci modeli için doğruluk değerinin anlamlı olabilmesi için her bir durum için on kez çalıştırarak ortalama doğruluk değerleri kullanılmıştır. Her iki veri kümesi için başarı gösteren sınıf bazlı küçükten büyüğe (SBKB) ve sınıf bazlı büyükten küçüğe (SBBK) yöntemleri ile sistem başarısını arttırmak mümkündür. Küçük cihazlarda (mikroişlemciler, mobil telefon vb.) sunduğumuz bu yöntemler kullanılabilir ve daha az işlem gücüne sahip cihazlar ve küçük modeller için iyileştirmeler gözlenebilir.
Özet (Çeviri)
In recent years, deep neural networks have been successful in both industry and academia, especially for computer vision tasks. Humans and animals learn much better when gradually presented in a meaningful order that shows more concepts and complex ones rather than randomly presenting the information. The use of such training strategies in the context of artificial neural networks is called“Curriculum Learning”. In this study, a new approach to curriculum learning, which consists of grading examples and their use with artificial neural networks, is presented. With the CIFAR-10 & CIFAR-100 training set, we train the last six layers of the pre-trained teacher model (Xception Model) to keep the training set's hidden information in the model's weight. We produced a difficulty level for each sample with model distillation methods by processing the layer outputs and each sample and its label. We calculate the sample loss from the similarity (correlation) between the sample and the model's penultimate layer output set at the same size and, we calculate label loss with the sample's ground truth information and the final layer output of the model by using cross-entropy loss. We trained a much smaller model called the student model with 4 different sample sequencing methods we created using these difficulty levels. We determined that the accuracy value generated when trained by the 2 of 4 methods we provide with the accuracy value trained with randomly mixed dataset is more than 1% for each epoch. For the accuracy value to be meaningful for the student model, we used the average accuracy running ten times. It is possible to increase the model's accuracy with class-based small to large (CBSL) and class-based large to small (CBLS), which are successful for both datasets. These methods we offer in small devices (microprocessors, mobile phones, etc.) can be used, and improvements can be observed for devices with less processing power limits and small models.
Benzer Tezler
- Deep learning for digital pathology
Dijital patoloji için derin öğrenme
CAN TAYLAN SARI
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM GÜNDÜZ DEMİR
- Adversarial attacks against machine learning algorithms at training stage
Eğitim aşamasındaki ̇makina öğrenme algoritmalarına karşı gerçekleştirilen çekişmeli saldırılar
FAHRİ ANIL YERLİKAYA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞERİF BAHTİYAR
- An exploration into human-machine relationships: Can robots be our virtue friends?
İnsan-makine ilişkilerine dair bir araştırma: Robotlarla erdeme dayalı bir dostluğun imkanları
SİNAN REFİK AKGÜN
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilim, Teknoloji ve Toplum Ana Bilim Dalı
PROF. DR. AYDAN TURANLI
- Cross-domain one-shot object detection by online fine-tuning
Çevrimiçi ince-ayar ile tek-örnekli çapraz-alan nesne tespiti
İREM BEYZA ONUR
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL
- Generalization of deep neural networks totransformations through novel andhybrid architectures
Derin sinir ağlarının yenı ve hibrit mimariler aracılığı ile transformlara genellemesi
BARIŞ ÖZCAN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA FURKAN KIRAÇ