Automated learning rate search using batch-level cross-validation
Yığın seviyesinde çapraz geçerleme kullanarak otomatik öğrenme oranı araması
- Tez No: 560500
- Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
Derin evrişimsel sinir ağları (ESA) sahip olduğu mimari çeşitlilik ile nesne sınınflandırma ve tanıma, görüntü bölütleme ve yüz tanıma gibi bilgisayarlı görü işlemlerinde yaygın olarak kabul görmektedir. Derin öğrenme araştırmacıları ve uygulayıcıları çok çeşitli mimarileri farklı veri kümelerinde eğitmek konusunda önemli miktarda deneyim elde etmiştir. Ancak, verilen bir ağ modeli ve veri seti için, en iyi modeli (yani en küçük test seti hatasını veren model) eğitim süresi karmaşıklığını düşük tutarak elde etmek hala zor bir iştir. Derin sinir ağlarının meta parametreleri, özellikle, öğrenme oranı ve (sönümü) programı, ağın nihai performansını oldukça etkiler. Genel yaklaşım, en iyi öğrenme oranını ve öğrenme oranının sönümü parametrelerini çapraz geçerleme (ÇG) çerçevesinde aramaktır; bu, genellikle yüksek zaman maliyeti olan çok fazla deney gerektiren bir süreçtir. Çapraz geçerleme, eğitme veri kümesi dışındaki yeni veriler ile model performansının değerlendirilmesi için veri setinin rastgele bir bölümünü bölerek, bu bölüm üzerinde eğitim aşamasının izlendiği bir tekniktir. Bu teknik, genellikle rastgele geçerleme kümeleri ile öğrenme oranı parametrelerine karar vermek için birçok kez çalıştırılır. Bu tez, klasik veri kümesi seviyesindeki, yani makro ÇG'ye alternatif olarak yığın seviyesinde çapraz geçerleme yöntemlerini araştırmayı amaçlamaktadır. Mikro ÇG yöntemlerinin avantajı, eğitim sırasında hesaplanan eğimin birkaç farklı öğrenme oranını değerlendirmek için tekrar kullanılmasıdır. Önerdiğimiz otomatik öğrenme oranı seçme algoritmaları; eğitim sırasındaki öğrenme oranını ve öğrenme oranı programını belirlemeyi amaçlar.Algoritmalarımız, mevcut veri yığınının (örneklerin) rastgele yarısının eğitim için kullanıldığı ve diğer yarısının doğrulama için kullanıldığı mikro çapraz geçerleme kullanır. Üç farklı ağ mimarisini kullanarak (özel bir ESA, ResNet ve VGG), üç tanınmış veri setinde yapılmış (CIFAR10, SVHN ve ADIENCE) kapsamlı deneysel sonuçlar sunuyoruz.
Özet (Çeviri)
Deep convolutional neural networks are being widely used in computer vision tasks, such as object recognition and detection, image segmentation and face recognition, with a variety of architectures. Deep learning researchers and practitioners have accumulated a significant amount of experience on training a wide variety of architectures on various datasets. However, given a specific network model and a dataset, obtaining the best model (i.e. the model giving the smallest test set error) while keeping the training time complexity low is still a challenging task. Hyper-parameters of deep neural networks, especially the learning rate and its (decay) schedule, highly affect the network's final performance. The general approach is to search the best learning rate and learning rate decay parameters within a cross-validation framework, a process that usually requires a significant amount of experimentation with extensive time cost. In classical cross-validation, a random part of the dataset is reserved for the evaluation of model performance on unseen data. This technique is usually run multiple times to decide learning rate settings with random validation sets. This thesis is aimed at exploring batch-level cross-validation methods as an alternative to the classical dataset-level, hence macro, CV. The advantage of micro CV methods is that the gradient computed during training is re-used to evaluate several different learning rates. We propose automated learning rate selection algorithms that are aimed to address setting the learning rate and learning rate schedule during training. Our algorithms use micro cross-validation where a random half of the current batch (of examples) is used for training and the other half is used for validation. We present comprehensive experimental results on three well-known datasets (CIFAR10, SVHN and ADIENCE) using three different network architectures: a custom CNN, ResNet and VGG.
Benzer Tezler
- Optimizing deep reinforcement learning models in stock trading through hyperparameter tuning
Hiperparametre ayarlama ile hisse senedi ticaretinde derin pekiştirmeli öğrenme modellerini optimize etme
ÖMER FIRAT
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TARKAN AYDIN
- Uç öğrenme makineleri kullanarak EKG işaretlerinin sınıflandırma başarımlarının iyileştirilmesi
Improvement of the classification achievements of ECG signals using extreme learning machines
AYKUT DİKER
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN AVCI
- A metric learning based system for retail product recognition and novel class discovery
Metrik öğrenme tabanlı ürün tanıma ve yeni ürün keşfetme sistemi
İBRAHİM ŞAMİL YALÇINER
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Automated analysis approach for the detection of high survivable ransomwares
Sinsi fidye yazılımlarının tespiti için otomatik analiz yaklaşımı
YAHYE ABUKAR AHMED AHMED
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BARIŞ KOÇER
DR. SHAMSUL HUDA
- Artificial intelligence influence for digitalized construction project management during planning phase
Planlama aşamasında dijitalleştirilmiş inşaat proje yönetimi için yapay zeka etkisi
MAHMUT EMRE KARCI
Yüksek Lisans
İngilizce
2024
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. FATMA PINAR ÇAKMAK