Geri Dön

Uncovering efficient learning andinitialisation algorithms for neuralnetworks using evolutionaryalgorithms and theoretical analyses

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 720656
  2. Yazar: AHMET YILMAZ
  3. Danışmanlar: Belirtilmemiş.
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: University of Essex
  10. Enstitü: Yurtdışı Enstitü
  11. Ana Bilim Dalı: Belirtilmemiş.
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 164

Özet

Özet yok.

Özet (Çeviri)

Artificial Neural Networks (ANNs) are one of the most widely used form of machine learning algorithms. Over the years numerous types of ANN have been developed and applied to many domains. However, there are still important problems to overcome including their slow learning and the inability of certain types of deep ANNs to learn, due to the vanishing gradient problem. This thesis attempted to solve these problems via novel efficient learning and initialisation algorithms. One of the tools used to do this is Genetic Programming (GP): a form of program evolution. Very little research had been done on the use of GP to induce learning rules for ANNs. This thesis started from where others left and also developed a rigorous methodology for fairly comparing learning rules. GP was able to evolve a learning rule that is fast and general. A qualitative interpretation for the rule and empirical evidence showed it is superior to the standard back-propagation algorithm. The vanishing gradient problem is a long-standing obstacle to the training of deep ANNs using sigmoid activation functions. The methods proposed in the literature to improve the situation are not very successful. This thesis first used GP to discover an initialisation algorithm that solve the problem. Then, we performed an in-depth analysis of the evolved algorithm and a theoretical analysis of the extent to which the vanishing gradient problem depends on the choice of the mean of the initial weight distribution. Both indicated that initialising the weights with a carefully selected negative mean would give large initial gradients in weight space. Empirical verification finally showed that starting from such a good initial position, the standard back-propagation algorithm is successful and efficient at training deep networks with 10 and 15 hidden layers on a standard set of benchmark problems.

Benzer Tezler

  1. Tez No

    887780

    İnsan gen yolaklarında ikâme modelleme ve makine öğrenmesi kullanarak varyant analizi

    Variant analysis in human gene networks using surrogate modelling and machine learning

    FURKAN AYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SÜHA TUNA

  2. Tez No

    895204

    Mimari tasarım sürecinin erken aşamasında kullanılacak artırılmış gerçeklik uygulamalarının geliştirilmesi için bir yöntem önerisi

    A new approach for development of a mobile augmented reality application to be used in the early phases of the architectural design process

    MAHMUT ÇAĞDAŞ DURMAZOĞLU

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. LEMAN FİGEN GÜL

  3. Tez No

    904157

    Makine öğrenmesi yöntemleri ile yapısal verilerin vektör gömülümleri

    Vector embeddings of structural data by machine learning techniques

    SARMAD NIHAD MOHAMMED SALIH

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. SEMRA GÜNDÜÇ

  4. Tez No

    279840

    Sosyal bilgiler öğretiminde müze kullanımı

    Use of museum in social studies teaching

    NİLÜFER FİLİZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2010

    Eğitim ve ÖğretimMarmara Üniversitesi

    Eğitim Bilimleri Bölümü

    DOÇ. DR. ALİ YILMAZ

    DOÇ. DR. KAYA YILMAZ

  5. Tez No

    749532

    Application of artificial intelligence in urban design and spatial transformation

    Kentsel mekanda yapay zeka uygulaması ve mekansal dönüşüm

    MAAZ AHMED MAAZ AHMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Şehircilik ve Bölge PlanlamaYıldız Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    DOÇ. DR. CEMAL CENK HAMAMCIOĞLU

Geri Dön