Yapay sinir ağlarının eğitiminde örneklerin zorluk seviyesine göre sıralanmasının etkisinin incelenmesi
A study about the effectiveness of ordering the samples by difficulty levels in the training of artificial neural networks
- Tez No: 505171
- Danışmanlar: DOÇ. DR. MEHMET FATİH AMASYALI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 77
Özet
Makine öğrenmesinde popüler konulardan olan Planlı Öğrenme (Curriculum Learning) ve Kendini Planlayan Öğrenme (Self paced Learning) eğitim örneklerinin zorluk seviyelerine göre sıralanarak öğreniciye verilmesini önermektedir. Bu konulardaki çalışmalar küçük bir eğitim kümesi ile başlayıp zorluk seviyesine göre yeni örnekler ekleyerek devam etmenin öğrenme performansını geliştirdiğini göstermektedir. Literatürdeki çalışmalarda örneklerin kolaydan zora sıralanmasının yanı sıra zordan kolaya sıralanması ile de daha iyi performans elde edildiği görülmektedir. Bu tez çalışmasının 3. Bölümünde Planlı Öğrenme ve ters versiyonunun birçok uygulama alanına adapte edilmesi için zorluk seviyelerinin otomatik olarak belirlendiği bir yöntem üzerinde çalışılmıştır. Örnekler bu yöntem ile kolaydan zora ve zordan kolaya sıralanarak öğreniciye verilmiş ve elde edilen sonuçlar klasik eğitim metodu ile karşılaştırılmıştır. Karşılaştırmalar sonucunda uygulama alanlarının önemli bir kısmında sıralama yapılan yöntemlerin istatistiksel açıdan anlamlı ve daha başarılı bir performans gösterdiği görülmüştür. Örneklerin kolaydan zora sıralanması ile daha iyi bir performans görülmesi beklenen bir durumken zordan kolaya sıralanması ile de iyi sonuçlar elde etmek şaşırtıcı bir durumdur. Bu nedenle Planlı Öğrenme ve ters versiyonunun her ikisinin de başarılı olmasının altında yatan sebepler üzerine araştırmalar yapılmıştır. Çalışmanın 4. Bölümünde sıralama yapılan yöntemlerin daha başarılı olmasının aslında sıralama yapıyor olmalarından değil eğitim kümesinin aşamadan aşamaya büyüyor olmasından kaynaklandığı öne sürülmüştür. Bu nedenle örneklerin anlamlı bir sıralama ile değil de rastgele düzenli büyüyen kümeler halinde verilmesinin de öğrenme performansını artıracağı düşünülmüştür. Önerilen yöntemin teorik alt yapısı açıklanmış ve uygulama bölümünde önceki yöntemlerle karşılaştırılmıştır. Karşılaştırmalar sonucunda rastgele düzenli büyüyen kümeler yönteminin tüm örneklerin tek aşamada verildiği klasik eğitim metodundan daha başarılı Planlı ve Kendini Planlayan Öğrenme yöntemleri ile yakın bir performans gösterdiği görülmüştür. Teorik ve deneysel çalışmalar neticesinde Planlı Öğrenme ve ters versiyonun ortak özelliği olan büyüyen kümelerle eğitim yönteminin optimizasyon sırasında daha iyi bir yerel minimum bulmayı sağlayan bir özelliğinin olduğu ve bu sebeple tek aşamada gerçekleştirilen eğitimden daha düşük hata oranlarının elde edebildiği sonucuna varılmıştır.
Özet (Çeviri)
Curriculum Learning and Self-paced Learning are popular topics in machine learning which suggests to put the training samples in an order related with their difficulty levels. Studies about these topics show that starting with a small training set and continue to add new samples according to the difficulty levels improves the performance of the learner. It is seen that the learner has better performance with hard-to-easy ordering as well as easy-to-hard. Chapter 3 is about a method to automatically determine the difficulty levels of the samples to see the performance of the Curriculum and its reverse version on many application areas. Samples have been ordered from easy-to-hard and hard-to-easy with the proposed method and compared with classical training and each other. According to the results, methods which have ordered the training samples obtained statistically significant lower error rates. While it is expected to get better results by ordering the samples from easy-to-hard it is surprising to get also better results when ordering the samples from hard-to-easy. Because of this, the underlying reasons for the success of both the Curriculum Learning and its reverse version have been researched. It is suggested in Chapter 4 that the success of these methods with ordering are not due to the fact that they have ordering but the training set is growing from stage to stage. For this reason, it is thought that giving the samples in randomly growing groups rather than with a meaningful order will increase the learning performance. The theoretical perspective of the proposed method is explained and the proposed method is compared with previous methods in the experiments. As a result of the comparisons, it is seen that the random ordered growing sets method performed better than the classical method which all the samples were given in one step and closely with the successful Curriculum and Self-Paced Learning methods. As a result of the theoretical and experimental studies, it has been concluded that training with growing sets method, which is a common feature of Curriculum Learning and its reverse version, has a feature that allows to find a better local minimum during optimization and therefore can achieve lower error rates than training in a single stage.
Benzer Tezler
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- Object recognition with competitive convolutional neural networks
Rekabetçi evrişimli sinir ağları ile nesne tanıma
TUĞBA ERKOÇ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIşık ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA TANER ESKİL
- An artificial neural network approach to predict the results of strain gauge measurements in the tensile testing of unidirectional laminated composites
Tek yönlü katmanlı kompozitlerin çekme testi gerinim ölçer sonuçlarını tahmin etmek için yapay sinir ağları yaklaşımı
ANIL BURAK KARALAR
Yüksek Lisans
İngilizce
2023
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DEMET BALKAN
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Classification of pediatric snoring episodes using deep convolutional neural networks
Pediyatrik horlama episodlarının derin evrişimsel sinir ağları ile sınıflandırılması
OZAN FIRAT CİVANER
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. MUSTAFA ERSEL KAMAŞAK