Geri Dön

Use of dropouts and sparsity for regularization of autoencoders in deep neural networks

Derin sinir ağlarında oto-kodlayıcının düzenlenmesi için terkinim ve seyreklik kullanımı

  1. Tez No: 377434
  2. Yazar: MUHADDİSA BARAT ALİ
  3. Danışmanlar: PROF. DR. ÖMER MORGÜL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2015
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 99

Özet

Derin öğrenme, birçok saklı katmandan oluşan sinir ağları için etkili bir öncül eğitme yöntemi olarak ortaya çıkmıştır. Aşırı beslemenin problemlerini yenebilmek için genellikle kapasite modelleri kullanılır. Bu tezde, derin sinir ağları konusunda sıklıkla uygulanan iki metot ele alınmaktadır. İlk olarak, öncül eğitimde seyrek oto-kodlayıcının performansı aşırı tamamlanmış durumlara seyrek ceza teriminin p-normu eklenerek geliştirilmiştir. Bu durum, aşırı besleme sorunlarının üstesinden gelebilmek için derin sinir ağındaki saklı katmanlarda etkili şekilde seyrekliğe sebep olur. Eğitme sonunda, her bir katman için derin ağı başlatacak geniş çeşitlilikte özellikler elde edilir. Elde edilen hatasızlık bilinen seyrek oto-kodlayıcı yöntemleri ile karşılaştırılabilir durumdadır. İkinci olarak, bir sonraki katmanın özelliklerini belirlemek için önceki katmanlardaki her bir birime ait tahminlerin birleştirilmesi sonucu geniş kapasite ağları, saklı katmanlar arasındaki karmaşık yardımcı-uyarlamalara katlanmak zorunda kalırlar. Bu durum ihtiyaç fazlası özelliklerin doğması ile sonuçlanır. Bu nedenle, önerilen fikir sadece en yüksek aktif birimleri özelliklerin belirlenmesinde kullanıp, eniyileme sırasında daha az aktif birimlerin etkisini bastırabilmek için saklı aktivasyonlar üzerinde bir eşik değeri belirlenmesidir. Bu işlem k-en düşük saklı birimi ihmal edip diğer birimleri tutarak uygulanabilir. Yapılan simülasyonlar k-en düşük terkinimin, daha iyi genellemeler için içsel dağılım gerçeklemelerine sebep olan öncül eğitme ve ince ayar eniyilemelerine yardımcı olduğu tezini doğrulamaktadır. Üstelik bu model bilinen terkinim metoduna kıyasla daha hızlı yakınsamaktadır. MNIST bilgi setinin sınıflandırılmasında önerilen teknik, oto-kodlayıcıları gürültüden arındırma, lineer doğrultucu birimlerin normal düzenleyiciler ile beraber kullanımı gibi önceki düzenleme teknikleri ile karşılaştırılabilir sonuçlar vermektedir. Önerilen modellerin bileşimi kullanılarak oluşturulan derin ağlar, terkinim fikrinin temel sonuçlarına oldukça benzer ama özellikle geniş boyutlu problemler için çok daha az vakit alan çıktılar vermektedir.

Özet (Çeviri)

Deep learning has emerged as an effective pre-training technique for neural networks with many hidden layers. To overcome the over-fi tting issue, usually large capacity models are used. In this thesis, two methodologies which are frequently utilized in deep neural network literature have been considered. Firstly, for pre-training the performance of sparse autoencoder has been improved by adding p-norm of the sparse penalty term to an over-complete case. This efficiently induces sparsity to the hidden layers of a deep network to overcome over- fitting issues. At the end of the training, features constructed for each layer end up with a variety of useful information to initialize a deep network. The accuracy obtained is comparable to the conventional sparse autoencoder technique. Secondly, the large capacity networks suff er from complex co-adaptations between the hidden layers by combining the predictions of each unit in the previous layer to generate the features of the next layer. This results to certain redundant features. So, the idea we propose is to induce a threshold level on the hidden activations to allow only the highest active units to participate in the reconstruction of the features and suppressing the e ffect of less active units in the optimization. This is implemented by dropping out k-lowest hidden units while retaining the rest. Our simulations confi rm the hypothesis that the k-lowest dropouts help the optimization in both the pre-training and fi ne-tuning phases giving rise to the internal distributed representations for better generalization. Moreover, this model gives quick convergence than the conventional dropout method. In classi fication task on MNIST dataset, the proposed idea gives the comparable results with the previous regularization techniques such as denoising autoencoders, use of rectifi er linear units combined with standard regularizations. The deep networks constructed from the combination of our models achieve favorably the similar state of the art results obtained by dropout idea with less time complexity making them well suited to large problem sizes.

Benzer Tezler

  1. Meslek lisesi öğrencilerinin okul terkinde rol oynayan faktörler ve önleme stratejilerine ilişkin yönetici öğretmen ve öğrenci görüşleri: AB ülkeleri ile karşılaştırılması

    Executives, teachers and students 'views on the factors andprevention strategies that affect vocational high schoolstudents 'dropouts: Comparison with EU countries

    ERCAN KÜÇÜKARSLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimAnkara Üniversitesi

    Eğitim Yönetimi ve Politikası Ana Bilim Dalı

    DOÇ. DR. ŞAKİR ÇINKIR

  2. Obsesif kompulsif bozukluk için bilişsel davranışçı yaklaşıma dayanan internet destekli bir kendine yardım programı geliştirme ve etkililiğini araştırma

    Developing of an internet supported self-help program based on cognitive behavioral approach for obsessive-compulsive disorder and evaluation of its effectiveness

    EZGİ GÖCEK YORULMAZ

    Doktora

    Türkçe

    Türkçe

    2020

    PsikolojiEge Üniversitesi

    Klinik Psikoloji Ana Bilim Dalı

    DOÇ. DR. SERAP TEKİNSAV SÜTCÜ

  3. Sigara bırakma polikliniğine başvuran hastaların tedavi geri bildirimlerinin değerlendirilmesi

    Evaluation of the treatment feedbacks of patients who apply to smoking polyclic

    SÜNDÜS GÖRÜKMEZ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2018

    Aile HekimliğiSağlık Bilimleri Üniversitesi

    Aile Hekimliği Ana Bilim Dalı

    DOÇ. DR. SEÇİL ARICA

  4. Madde kullanan ergenlerde travma ve travma sonrası stres bozukluğu sıklığı araştırması

    Trauma and posttraumatic stress disorder in substance use adolescents

    ŞULE EKERBİÇER

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2017

    Psikiyatriİstanbul Üniversitesi

    Çocuk ve Ergen Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı

    PROF. DR. BEHİYE ALYANAK

  5. Psikolojik belirtilerin riskli davranışlarla ilişkisinde içselleştirilmiş ve sosyal damgalanma, kontrol odağı, umut ve öz-şefkatin etkisi: Türkiye üniversite örnekleminde bir inceleme

    The effect of internalized and social stigma, locus of control, hope and self-compassion on the relationship of psychological symptoms with risky behaviors: A study in a Turkish university sample

    AYŞE ÖZLEM TORUNOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    PsikolojiHacettepe Üniversitesi

    Psikoloji Ana Bilim Dalı

    PROF. DR. İHSAN DAĞ