Geri Dön

Gradyan ve özel bir hiper düzlem temelli yeni bir optimizasyon algoritması: Evriştirilmiş Gradyan yönü ile optimizasyon

A novel optimization algorithm based on gradient and specific hyperplane: Evolved Gradient direction optimizer

PDF İndir

  1. Tez No: 511459
  2. Yazar: İBRAHİM KARABAYIR
  3. Danışmanlar: DOÇ. DR. NİHAT TAŞ
  4. Tez Türü: Doktora
  5. Konular: İşletme, Business Administration
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2018
  8. Dil: Türkçe
  9. Üniversite: İstanbul Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: İşletme Ana Bilim Dalı
  12. Bilim Dalı: Sayısal Yöntemler Bilim Dalı
  13. Sayfa Sayısı: 114

Özet

Bu çalışmada çok boyutlu problemleri çözmek için birinci dereceden gradyan ve özel bir hiper düzlem ailesine dayalı yeni ve etkili bir algoritma sunulmaktadır. Bu amaçla M hiper düzlem ailesi üretilmiştir. Yaklaşım keyfi olarak seçilen bireysel çözüm popülasyonunu, M hiper düzlem ailesine ait M_n hiper düzleminin gradyan vektörü ve birinci dereceden gradyan vektörü yardımıyla dinamik olarak evriştirerek çok boyutlu problemi optimize etmeyi amaçlamaktadır. Özellikle örüntü tanıma uygulamalarında hata fonksiyonunun hayli lineer olmayan yapıya sahip olduğu düşünüldüğünde keyfi olarak seçilen başlangıç çözümünün yerel minimum çözümüne yaklaşması bilinen bir problemdir. Kurulan algoritma yardımıyla, fonksiyon optimizasyonunda çözümün, gradyan iniş yönteminin en büyük handikabı olan lokal minimum tuzağına düşmesinden kaçınılması hedeflenmiştir. Ayrıca bu tezde, M_n hiper düzleminin ve önerilen optimizasyon algoritmasının geometrik anlamı sunulmuştur. Bunun yanı sıra, önerilen algoritmanın performansı bazı uygulamalar yapılarak incelenmiştir. Bu uygulamalar genel olarak bazı klasik matematiksel fonksiyon uygulamaları ve makine öğrenmesi uygulamaları olarak verilmiştir. Makine öğrenmesi uygulamalarında yapay olarak üretilen veri setlerinin yanı sıra literatürde sıklıkla kullanılan rakamların el yazısı olarak yazılmasıyla oluşturulan MNIST veri seti kullanılmıştır. Makine öğrenmesi uygulamaları için öğrenme algoritmaları olarak lojistik regresyon, softmax regresyon ve derin evrişimli sinir ağı (DESA) kullanılmıştır. Özellikle derin evrişimli sinir ağlarının örüntü tanıma uygulamalarındaki başarısı bilinmektedir. Bu amaçla üretilen optimizasyon algoritmasının performansı derin evrişimli sinir ağı ile de test edilmiştir. MNIST veri seti işlenirken tensör büyüklüğü düşünüldüğünde grafik işleme birimi (GPU) kullanılarak öğrenme hızlandırılmıştır. Önerilen yöntemle elde edilen sonuçlar, özellikle örüntü tanıma problemlerinde sıklıkla kullanılan gradyan iniş algoritmasıyla elde edilen sonuçlar ile birlikte verilmiştir. Böylelikle önerilen yöntem ile gradyan iniş yöntemi karşılaştırılmıştır ve önerilen yöntemin görece olarak daha iyi sonuçlar verdiği gözlemlenmiştir.

Özet (Çeviri)

We introduce a novel algorithm for optimization of multidimensional objective functions based on their first-order gradient and specific hyperplane family. For this purpose, we produce M hyperplane family. The proposed approach is aimed at optimizing multidimensional functions by evolving the arbitrary initial individual solution with the help of both the gradient vector of M_n hyperplane belonging to the M hyperplane family and first-order gradient. Especially in the pattern recognition applications, it is well known that the arbitrary initial solution can approximate to the local minimum solution when considered rather nonlinear structure of the error function. The aim of the proposed algorithm is to strip away local minimum trap which is a handicap for the gradient descent algorithm. Moreover, we also analyse the geometrical meaning of both M hyperplane family and the proposed optimization algorithm. Besides, the computational performance of the proposed algorithm has been examined by some applications. These applications are generally presented as some classical mathematical function applications and machine learning applications. In machine learning applications, both artificially generated datasets and MNIST handwritten digit dataset which is commonly used in the literature have been processed. Logistic regression, softmax regression and deep convolutional neural network have been used as learning algorithms. Especially, it is well known that the deep convolutional neural networks are very successful in pattern recognition. For this purpose, the performance of the proposed optimization algorithm has also been tested with deep convolutional neural network. Taken into account of tensor size when processing MNIST dataset, the learning is accelerated using the graphics processing unit (GPU). The results of the proposed method have been given together with the results of the gradient descent algorithm which is commonly used in pattern recognition. Thus, the proposed method has compared with the gradient descent approach and it has been observed that the proposed method has achieved relatively better results.

Benzer Tezler

  1. Tez No

    847173

    Fake news classification using machine learning and deep learning approaches

    Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması

    SAJA ABDULHALEEM MAHMOOD AL-OBAIDI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR

  2. Tez No

    758798

    A novel sampling technique and gradient boosting tree-based approach for cross-channel fraud detection

    Kanallar arası dolandırıcılık tespiti için yeni bir örnekleme tekniği ve gradyan artırıcı ağaç tabanlı yaklaşım

    UĞUR DOLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    Veri Bilimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMRE SEFER

  3. Tez No

    526560

    Pre-release forecasting of imdb movie ratings using multi-view data

    Gösterime girmemiş filmlerin ımdb puanının farklı özellik kümeleri kullanılarak tahmin edilmesi

    BEYZA ÇİZMECİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ŞULE ÖĞÜDÜCÜ

  4. Tez No

    692525

    TV ve set üstü cihaz arayüz kullanılabilirlik ölçümü

    Usability evaluation of TV and set-top box interfaces

    AYCAN PEKPAZAR

    Doktora

    Türkçe

    Türkçe

    2021

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÇİĞDEM ALTIN GÜMÜŞSOY

  5. Tez No

    716785

    Optimization using artificial gradients

    Başlık çevirisi yok

    YUNUS ŞUMNU

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    MatematikBahçeşehir Üniversitesi

    Yapay Zeka Ana Bilim Dalı

    DOÇ. DR. ETHEM ÇANAKOĞLU

Geri Dön